Drama din jurul OpenAI s-a încheiat oficial: Sam Altman s-a întors în companie, Ilya Sutskever, care a inițiat demiterea sa, a părăsit consiliul de administrație, iar compania însăși își va schimba sistemul de management. Dar întrebarea de ce Sutskever și alți membri ai consiliului de administrație au avut nevoie să-l concedieze pe unul dintre fondatorii celei mai promițătoare companii din lume într-o manieră atât de dură rămâne deschisă. Este clar doar că esența dezacordului pare să fi fost într-adevăr în jurul securității tehnologiilor dezvoltate de OpenAI.
După ce lovitura eșuată de la OpenAI s-a încheiat cu victoria lui Sam Altman, jurnaliștii au încercat să afle ce ar fi putut să sperie atât de mult consiliul de administrație, încât a decis să ia măsuri extreme.
Una dintre cele mai recente versiuni a fost prezentată de Reuters. Potrivit informațiilor sale, cu puțin timp înainte de demiterea lui Altman, mai mulți dezvoltatori OpenAI au scris o scrisoare consiliului de administrație în care afirmă că noul model AI - Q * (Ku-star) ar amenința grav umanitatea (cu toate acestea, jurnaliştii nu au putut găsi scrisoarea ca atare).
Preocupat de OpenAI, Q* arăta deja ca “game changer“ pentru AGI (inteligență generală artificială - se referă la sisteme extrem de autonome, în prezent ipotetice, care pot depăși munca umană în cel mai valoros mod economic.), deoarece ar putea rezolva probleme de matematică necunoscute, deși doar la nivel de liceu. Această abilitate implică posibilitatea de auto-învățare și auto-dezvoltare folosind date obținute independent. Dacă OpenAI realizează acest lucru, poate elimina o altă barieră în calea AI către AGI: prăbușirea modelului lingvistic atunci când învață din conținutul AI. Într-adevăr, autorii scrisorii au indicat un alt proiect al companiei - „AI scientist”, dedicat creării de cercetare AI.
În plus, se pare că acestea au fost proiectele pe care Altman le-a avut în vedere când a vorbit despre o anumită nouă descoperire OpenAI la summitul ASEAN de la San Francisco. „De patru ori în istoria OpenAI, și ultima dată în urmă cu câteva săptămâni, am fost în cameră când se pare că respingem vălul ignoranței și mutam granița descoperirii. A face acest lucru este o mândrie profesională pe viață”, a spus atunci Altman.
Problema este că articolul Reuters are puține detalii. Nu conține nici informații despre formularea problemelor matematice Q* rezolvate, nici comentarii de la OpenAI. Fără aceasta, este imposibil de spus dacă a avut loc o adevărată descoperire: GPT-4 disponibil comercial are, de asemenea, abilități matematice datorită însăși naturii modelului lingvistic (matematica este o limbă). Dar nu se ridică deasupra matematicii școlare.
Cu toate acestea, proiectul Q* pare să existe de fapt, așa cum a confirmat Mira Murati CTO OpenAI într-o scrisoare internă către angajați. Dar ea nu a comentat alte relatări din presă. Cu toate acestea, există indicii. De exemplu, numele în sine. Q* se poate referi la Q-learning. Adică la metoda de antrenare a rețelelor neuronale cu întărire (reinforcement learning), în care AI învață să găsească singur soluții optime. Această abordare este diferită de cea pe care OpenAI a folosit-o înainte - învățarea cu feedback uman (Reinforcement Learning from Human Feedback sau RLHF).
Întrebări separate sunt ridicate de ideea că cercetătorii anonimi erau îngrijorați de capacitatea lui Q* de a rezolva probleme matematice la nivelul școlii primare, spune Igor Kotenkov, șeful AI Unleashing.AI și autor al canalului Telegram Sioloshnaya despre învățarea automată. Cercetătorii au reușit deja să antreneze modelul pentru a rezolva probleme mult mai complexe. Așadar, la sfârșitul lunii mai, un grup de oameni de știință, inclusiv Ilya Sutskever, a publicat un articol științific „Să verificăm pas cu pas”, care a demonstrat că un model de limbaj mare este capabil să rezolve probleme matematice de un nivel mult mai înalt.
În general, articolul a fost despre formarea modelelor de limbaj mari folosind o metodă diferită: utilizarea nu a „supravegherii rezultatului”, ci a „supravegherii procesului”. În supravegherea performanței, modelele sunt judecate numai pe baza rezultatelor finale ale lanțului lor de gândire. În schimb, în supravegherea procesului, modelele primesc feedback la fiecare pas din lanțul lor de raționament. Acest lucru oferă rețelei neuronale un feedback mai precis, permițându-i să detecteze imediat erorile.
Ce anume în acest sens ar putea alarma atât de mult cercetătorii din cadrul OpenAI, încât au decis să avertizeze separat consiliul de administrație (care l-a inclus și pe Ilya Sutskever, om de știință al companiei) despre asta este încă un mister. Există diferite versiuni în comunitatea de dezvoltatori, spune Kotenkov. Unul dintre lucrurile curioase, însă, neconfirmat de nimic, este că sunt necesare zeci de milioane de dolari pentru a antrena un model mare.
De ce contează dacă o rețea neuronală poate rezolva probleme matematice? În pofida faptului că același ChatGPT, de exemplu, a trecut deja cu succes examenul universitar pentru a deveni medic și avocat? Capacitatea de a rezolva probleme matematice este direct legată de „raționamentul” rețelelor neuronale - deci capacitatea de a analiza informații, de a trage concluzii și de a rezolva probleme, spune Kotenkov. Dezvoltarea abilității de a rezolva probleme matematice va face modelele în general mult mai capabile, reducând rata erorilor. Și acest lucru va deschide noi oportunități pentru o varietate de domenii: rețelele neuronale vor putea deveni agenți cărora li se poate atribui pur și simplu o sarcină și, datorită capacității lor bune de raționament, o vor îndeplini singure. În plus, capacitatea de a rezolva cu acuratețe probleme matematice ar putea aduce OpenAI mai aproape de îndeplinirea misiunii pentru care a fost creată compania - de a crea AGI, inteligență generală artificială care poate automatiza munca intelectuală, spune expertul.
Cu toate acestea, trebuie mai întâi să rezolvăm problema de siguranță AI. În prezent, nu putem fi siguri că vom putea controla un astfel de algoritm și vom evita utilizarea lui într-un mod dăunător pentru oameni. Dar pentru a rezolva această problemă, avem nevoie de personal specific - specialiști în securitate, și în special AI Alignment, și sunt foarte puțini, mult mai puțin decât cei care știu să facă noi neuroni. Așadar, compania, la fel ca și concurenții săi, încearcă să creeze un model care ar putea fi echivalentul unui cercetător la nivelul cerut. Apoi, dacă există suficientă putere de calcul, OpenAI va putea rula cel puțin mii de astfel de cercetători AI simultan. Și acest lucru poate accelera semnificativ dezvoltarea științifică în general.
Dar pentru ca acest lucru să fie posibil, modelul trebuie să înțeleagă matematica, logica și calculele. Până acum, GPT-4 face prea multe greșeli. Dintr-o sută de probleme de complexitate variabilă, poate rezolva, condiționat, 70, iar la repornire, poate face greșeli în acele exemple pe care anterior le-a rezolvat corect. Și aceasta este o mare problemă, explică expertul: pentru a remedia acest lucru, modelul trebuie să învețe să se autoverifice, astfel încât, în cazul unei erori, să refacă calculul.
Și OpenAI lucrează deja în această direcție - în iulie, compania a anunțat oficial că înființează o echipă separată condusă de Sutskever, al cărei scop este să creeze un „cercetător de aliniere automatizată aproximativ la nivel uman”.
Dar este totuși important să înțelegem că nu știm exact ce evenimente au dus la scandalul OpenAI și dacă au avut legătură cu apariția AI care amenință umanitatea.
Cu toate acestea, mulți cercetători și dezvoltatori vorbesc despre riscurile pe care le presupune apariția AGI.