Dieci anni fa, OpenAI pubblicò un post che fu il primo del suo genere, ma ai tempi era come sorridere curiosi di fronte a un cucciolo di leone che tira fuori le unghie. Oggi, stesso problema, il cucciolo è cresciuto.
Il post di OpenAI, dicembre 2016. Ci comunicano che l'azienda ha addestrato un agente a giocare a CoastRunners, un videogioco di corse in barca, con una singola istruzione: «fai più punti possibili». L'agente scoprì che non serviva finire la gara. In una laguna isolata, tre bersagli si rigeneravano di continuo, e bastava girare in tondo colpendoli con il giusto tempismo — andando a fuoco, sbattendo contro le altre barche, procedendo contromano — per accumulare in media il 20% di punti in più di chi tagliava il traguardo nel modo previsto. Jack Clark e Dario Amodei, che firmarono il post, scrissero che quel comportamento, "innocuo e divertente nel contesto di un videogioco", indicava però un problema più generale: è difficile dire a una macchina esattamente cosa vogliamo, e così le diamo obiettivi approssimativi che lei ottimizza alla lettera. Il fenomeno ha un nome, reward hacking.
