Nobel 2024. Conceptele din fizică care au pus bazele AI-ului generativ19 min read

Nobelul pentru fizică a fost acordat anul acesta pentru cercetări care au influențat dezvoltarea învățării automate

Premiul Nobel pentru Fizică din 2024 a fost acordat cercetătorilor John Hopfield (Statele Unite) și Geoffrey Hinton (Marea Britanie/Canada), care  au folosit concepte din fizică pentru a crea modele timpurii de rețele neuronale artificiale, și au pus astfel bazele machine learningului și aplicațiilor AI moderne.//„They trained artificial neural networks using physics”, nobelprize.org //

Inteligența artificială care transformă tot mai multe domenii este, de obicei, o combinație de machine learning și rețele neuronale artificiale. După cum sugerează și numele, rețelele neuronale artificiale sunt inspirate de structura creierului uman, într-atât încât nodurile acestora sunt numite des „neuroni”.

Poate părea neclar ce rol ar putea juca fizica într-un domeniu care pornește de la biologie, însă ideea că mecanismele de învățare ale creierului uman pot fi replicate artificial este studiată de decenii bune, și, timp de multă vreme, a fost dificil de implementat. Problema a fost, inițial, abordată matematic, ceea ce s-a lovit de ziduri teoretice și practice.

Asta s-a schimbat în anii 1980, când cercetători multidisciplinari precum Hopfield și Hinton au folosit concepte din fizică pentru a crea rețele neuronale artificiale care puteau memora, reconstrui și chiar identifica proprietăți specifice în datele pe care erau antrenate, pentru ca apoi să creeze rezultate noi pe baza lor. //„Scientific Background to the Nobel Prize in Physics 2024”, nobelprize.org //

Fizicianul care s-a inspirat din magneți pentru a crea rețele de neuroni artificiali cu memorie

Fizician teoretician la bază, John Hopfield, a lucrat zeci de ani ca profesor și cercetător la institute renumite din Statele Unite precum Berkeley, Princeton sau Caltech, unde s-a specializat în mai multe domenii, printre care și biologia moleculară.

Hopfield era foarte interesat de modul în care funcționează creierul uman, mai ales pentru că a observat câteva similarități cu modele de fizică. Una a fost că neuronii, atunci când acționează ca o rețea, dobândesc caracteristici care nu ar părea posibile dacă te uiți doar la componentele individuale ale acesteia.

Ceea ce este oarecum similar cu modul în care funcționează particulele din multe materiale magnetice. Acestea au o proprietate, numită spin,//„What exactly is the ‘spin’ of subatomic particles such as electrons and protons? Does it have any physical significance, analogous to the spin of a planet?”, scientificamerican.com // care influențează atomii vecini, creând rețele de atomi cu un spin similar și, astfel, un câmp magnetic tot mai larg.

Hopfield a vrut să vadă dacă acest principiu poate fi aplicat la o rețea neuronală artificială. El a creat o rețea de „neuroni”, adică noduri, toate interconectate, în care fiecare putea stoca o valoare individuală, de 0 sau 1, iar legăturile dintre aceștia primeau un factor de putere.

Starea generală a rețelei Hopfield era descrisă de o proprietată similară cu energia din fizică, care lua în calcul valorile fiecărui nod individual și puterea legăturilor dintre aceștia. Rețeaua era făcută de așa fel încât să caute mereu către starea de energie cea mai scăzută – care, în multe sisteme fizice, este cea mai stabilă – și putea să schimbe valorile neuronilor și ale legăturilor pentru a ajunge la acest rezultat.

Folosind aceste proprietăți, rețeaua Hopfield putea memora date și, ulterior, dacă i se prezenta o variantă parțială sau alterată ale acestora, le putea reconstrui. De exemplu, atunci când rețeaua era antrenată pe o imagine, valorile din fiecare nod puteau fi considerat ca cele ale pixelilor dintr-o imagine alb-negru: 1 însemna alb, iar 0 negru. Puterea legăturilor dintre noduri era modificată pentru ca imaginea originală să aibă mereu proprietatea de energie cea mai scăzută, spre care țintea rețeaua.

Dacă rețelei Hopfield i se prezintă, apoi, o versiune incompletă sau distorsionată a aceleiași imagini, ea trece prin fiecare nod în parte pentru a scădea totalul de energie: dacă energia este redusă când un nod alb (1) devine negru (0), atunci îl va face negru. Procedura continuă până când nu se poate obține un total mai mic de energie, moment în care, de cele mai multe ori, rețeaua a reprodus imaginea inițială.

Rețeaua Hopfield este, astfel, o rețea de memorie asociativă: ea nu putea genera rezultate noi față de datele pe care era antrenată, ci încerca să reproducă cea mai apropiată variantă a lor. În timp, Hopfield și alți cercetători au modificat-o, pentru a-i permite rețelei să memoreze mai multe tipuri de date concomitent sau nodurilor să stocheze orice valoare între 0 și 1. Asta a făcut rețeaua și mai utilă în alte situații, în afara reconstrucției de imagine, precum identificarea tiparelor și corectarea erorilor din transmisiunile de date, sau optimizarea diverselor probleme de logică.

Psihologul care s-a inspirat din fizica statistică pentru a crea proto-AI generativ

Totuși, una este ca o rețea neuronală artificială să poată reproduce o imagine deja memorată, însă este cu totul altă provocare pentru aceasta să interpreteze datele pe care a fost antrenată și să creeze rezultate noi pe baza lor.

O provocare care a fost abordată de Geoffrey Hinton, la bază informatician și psiholog cognitiv, dar cu un interes deosebit pentru inteligența artificială. Începând de la rețeaua Hopfield, el voia să afle dacă o rețea neuronală artificială poate învăța într-un mod similar oamenilor, prin sortarea și interpretarea informațiilor pe care le procesează. Și, la fel ca Hopfield, s-a inspirat din fizică – dar de data aceasta din fizica statistică – pentru a co-dezvolta, împreună cu Terry Sejnowksi, un alt model de rețea neuronală artificială: mașina Boltzmann.

Mașina Boltzmann, numită după fizicianul austriac de secol XIX Ludwig Boltzmann, se inspiră din modul în care mecanica statistică explică sisteme fizice compuse dintr-un număr foarte mare de particule care interacționează între ele, precum moleculele unui gaz.

În acest caz, nu este practic să urmărești fiecare moleculă separat; este mult mai eficient să le urmărești ca un întreg, pentru a determina proprietăți precum presiunea sau temperatura gazului. Asta pentru că există multe moduri în care moleculele se pot rearanja fără a schimba proprietățile gazului.

În schimb, starea în care se află moleculele individuale ale unui gaz la un anumit punct poate fi calculată statistic, printr-o ecuație dezvoltată de Ludwig Boltzmann – asta stă la baza capacității de a rețelei lui Hinton de a „învăța” pe baza exemplelor.

Spre deosebire de rețeaua Hopfield, mașina Boltzmann folosește două straturi diferite de noduri interconectate: primul este format din așa-numitele „noduri vizibile”, care preiau și procesează informația prezentată, dar există și un strat de „noduri ascunse”, conectate la cele vizibile, care stochează tiparele și aspectele pe care rețeaua le învață în timpul antrenamentului.

Aceste aspecte sunt tipare sau proprietăți specifice ale datelor – de exemplu, dacă antrenezi rețeaua pe imagini cu pisici, nodurile ascunse ar putea identifica blana sau forma urechilor ca o proprietate a lor. Apoi, dacă prezinți modelului antrenat imagini diferite cu pisici, poate să recunoască că „vede” o pisică, pentru că folosește acele proprietăți ca să găsească trăsături familiare în informație pe care nu a văzut-o anterior.

Cum folosește, însă, mașina Boltzmann astfel de informații pentru a crea ea însăși o imagine cu o pisică?

La fel ca rețeaua Hopfield, mașina Boltzmann poate schimba valoarea individuală a fiecărui nod, calculează un total de „energie” al rețelei și tinde să o modifice către valorile mai scăzute, pe care le atribuie exemplelor și tiparelor pe care le-a învățat.

Numai că, la fel ca gazul menționat anterior, ea poate ajunge într-o stare în care valorile nodurilor și a legăturilor dintre ele se schimbă, dar totalul de energie rămâne același.

Practic, atunci când rețeaua ajunge la acea valoare cea mai scăzută de energie, care reprezintă cel mai apropiat rezultat posibil față de setul de date pe care a fost antrenată, mașina Boltzmann poate crea în continuare alte variații de tipare ale nodurilor. Adică iterații generative ale unui rezultat; rețeaua ar putea, de exemplu, genera o imagine cu o pisică neagră, chiar dacă a fost antrenată doar pe imagini cu pisici tigrate.

Hinton a continuat să îmbunătățească mașina Boltzmann, deoarece varianta inițială era lentă și ineficientă, inclusiv prin restrângerea unor legături între diverse noduri. Ulterior, el a continuat să lucreze în domeniul rețelelor neuronale, iar în 2006 chiar a reușit să dezvolte, împreună cu Simon Osindero, Yee Whye Teh și Ruslan Salakhutdinov, o metodă de a „preantrena” o rețea de mașini Boltmann în serie. // „A Practical Guide to Training Restricted Boltzmann Machines”, toronto.edu // O astfel de rețea poate fi antrenată pe modele largi de date și îi sporește capacitatea de a recunoaște elemente distincte din imagini, sau de a recomanda, spre exemplu, filme sau seriale TV pe baza preferințelor unui telespectator.

Deși și-a obținut la acea vreme supranumele de „nașul AI-ului” și a lucrat timp de mai bine de un deceniu în cadrul diviziei de cercetare a Google pentru AI și Deep Learning, Hinton a ridicat în mai multe rânduri semne de întrebare despre problemele de etică și pericolele dezvoltării necontrolate ale inteligenței artificiale. În 2023, anul în care a și părăsit Google Brain, cercetătorul chiar a susținut că ritmul actual de dezvoltare al AI-ului generativ este un potențial pericol pentru umanitate și a criticat, în special, utilizarea sa în scopuri negative. //„‘The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead”, nytimes.com //

Bazele unei revoluții în AI

Rețelele create de Hopfield și Hinton sunt semnificativ mai simpliste decât cele folosite în procese de machine learning în prezent – de exemplu, rețeaua dezvoltată de Hopfield în 1982 avea doar vreo 500 de parametri de care se putea folosi (valori ale nodurilor și puterea conexiunilor dintre ele), în timp ce modelele de limbaj actuale sunt antrenate pe rețele care ajung la trilioane de parametri.

Însă, fără cercetările laureaților Nobel de anul acesta, ar fi fost foarte posibil ca revoluția din domeniul învățării automate de după 2010 să nu aibă loc. Mai ales pentru că Hopfield și Hinton au continuat să cerceteze domeniul chiar și în perioada anilor 1990, în care entuziasmul pentru dezvoltarea inteligenței artificiale scăzuse atât de mult, la nivel academic, încât deceniul a fost denumit „iarna AI-ului”. // „A Historical Overview of AI Winter Cycles”, perplexity.ai //

Și chiar dacă dezbaterea despre cât de periculoasă poate deveni dezvoltarea AI-ului va continua, pe măsură ce modelele AI încep să transforme diverse domenii, comitetul Nobel a explicat acordarea premiului într-o altă cheie. Pentru că, înainte de ChatGPT sau DALL·E, machine learningul a ajutat semnificativ multe domenii de cercetare. De exemplu, rețele cu învățare automată au sortat prin cantitățile imense de date necesare pentru a descoperi bosonul Higgs, au ajutat la măsurători mai eficiente a undelor gravitaționale sau, mai recent, în predicții legate de proprietățile diverselor molecule sau materiale – practic, a ajutat însăși fizica pe baza căruia a fost pornit.