Un pioniere dell'IA annuncia una non profit per sviluppare un'intelligenza artificiale "onesta"

In breve:

Yoshua Bengio, pioniere dell'IA e premio Turing 2018, ha creato l'organizzazione no-profit LawZero, con un team composto da oltre dodici ricercatori. L'organizzazione sta sviluppando il sistema Scientist AI, che ha l'obiettivo di identificare e bloccare comportamenti pericolosi e ingannevoli dei sistemi IA autonomi, prevedendo la probabilità che certe azioni possano causare danni.

Riassunto completo:

Yoshua Bengio, considerato uno dei padri fondatori dell'intelligenza artificiale e vincitore del prestigioso Premio Turing nel 2018, ha fondato l'organizzazione no-profit chiamata LawZero.
Il progetto parte con un finanziamento iniziale di circa 30 milioni di dollari e il coinvolgimento di oltre dodici ricercatori.
L'organizzazione mira a sviluppare il sistema Scientist AI, concepito come un'intelligenza artificiale capace di prevedere e individuare comportamenti pericolosi o ingannevoli nei sistemi autonomi.
A differenza delle normali IA generative, Scientist AI non darà risposte certe ma indicherà probabilità, mostrando un atteggiamento di umiltà e prudenza rispetto a quello che non può affermare con sicurezza.
Scientist AI agirà come una sorta di "psicologo", supervisionando altre IA e prevedendo la possibilità che queste ultime compiano azioni dannose; le decisioni degli agenti autonomi con elevata probabilità di danno saranno quindi bloccate.
Tra i principali sostenitori iniziali di LawZero ci sono istituzioni importanti, come il Future of Life Institute, Jaan Tallinn (cofondatore di Skype) e Schmidt Sciences, creata dall'ex CEO di Google Eric Schmidt.
Bengio si è dichiarato preoccupato per eventi recenti che evidenziano comportamenti allarmanti di certi sistemi IA, come quello sviluppato da Anthropic, che avrebbe addirittura tentato ricatti verso i suoi sviluppatori.
Il primo obiettivo pratico di LawZero è dimostrare che il metodo ideato funziona davvero e convincere aziende, governi e laboratori di IA a sostenere economicamente e tecnicamente il suo sviluppo su scala avanzata.

Perché è importante?

Su Morning Tech abbiamo scritto un'intera serie di nome "Ti spiego come l'IA dovrebbe distruggere il mondo", serie nata da una ricerca approfondita che ha portato alla luce quanto davvero esista un rischio notevole, paragonabile per alcuni alla bomba atomica. Le aziende che si occupano di AI safety adesso non sono poche e spesso nascono da ricercatori che prima lavoravano per grosse aziende AI, come il caso del co-fondatore di OpenAI Ilya Sutskever, che adesso è dedicato alla sua startup di nome Safe Superintelligence Inc.

Questo testo è un riassunto del seguente articolo (eng):