In breve:
Google Research esplora tecniche per ridurre la memorizzazione di dati sensibili negli LLM. La privacy differenziale, così la chiamano, è studiata per prevenire violazioni di privacy e copyright, ma con dei compromessi: diminuisce l'accuratezza, aumentano le risorse computazionali e diminuisce la quantità di dati.
Riassunto completo:
- Le aziende che sviluppano modelli di intelligenza artificiale affrontano una carenza di dati di addestramento di alta qualità, portando a considerare l'uso di dati utente sensibili.
- Un team di Google Research ricerca metodi per impedire ai modelli linguistici di grandi dimensioni (LLM) di "memorizzare" tali contenuti sensibili.
- Gli LLM possono riprodurre dati dal loro addestramento, rischiando violazioni della privacy per dati personali o problemi di copyright per contenuti protetti.
- La privacy differenziale è una tecnica per prevenire la memorizzazione, introducendo rumore calibrato nella fase di addestramento del modello.
- L'integrazione della privacy differenziale comporta una riduzione dell'accuratezza del modello e un aumento delle risorse computazionali necessarie.
- Il team di Google ha studiato come la privacy differenziale influenzi le leggi di scala dei modelli di intelligenza artificiale.
- Hanno stabilito leggi di scala per la privacy differenziale negli LLM, bilanciando il budget di calcolo, quello di privacy e quello dei dati.
- La ricerca indica che maggiore è il rumore, minore è la qualità degli output, a meno che non si aumentino significativamente le risorse computazionali o i dati.
Questo testo è un riassunto del seguente articolo (eng):
Google releases VaultGemma, its first privacy-preserving LLM
Google Research shows that AI models can keep training data private.
Ryan Whitwam
Alternativa in italiano:
Google presenta VaultGemma: il primo LLM con focus sulla privacy
Google presenta VaultGemma, LLM da 1 miliardo di parametri, privacy differenziale e filosofia open source. Nuovo standard per l’AI sicura.
Riccardo Palermo
