Sunt mândru de mine și îmi vine să urlu pe stradă! Nu, serios … Ceea ce vedeți mai jos este rezultatul muncii mele de două luni: un model de inteligență artificială (LLM) construit de mine, de la zero, după „Fizica Povestită”! Acum prezice prostii, dar asta pentru că nu am antrenat încă modelul. Uitați de ce este azi o zi frumoasă pentru mine:
🥳 Când eram student la Facultatea de Fizică eram cel mai fericit și mândru student din lume! Da, pentru că mintea mea putea să înțeleagă ecuațiile fizicii și eu aveam posibilitatea și șansa asta enormă să le învăț! Spun bine șansa, pentru că am apreciat mereu profesorii, fără ei n-aș fi putut face nimic. Dar ce șansă! Ce bucurie! Integrale, derivate, ecuații diferențiale și toate cu aplicații în natură. Atât de frumos!
🥳 Când am scris Fizica Povestită mi-am zis așa: eu nu vreau să fiu un popularizator de știință care repetă ce au spus alții. Eu vreau să înțeleg mai întâi ecuațiile și apoi să explic după mintea mea. De aceea Fizica Povestită nu numai că are ecuații până la câmpurile cromodinamicii cuantice, dar și textul are o puternică structură de înțelegere bazată pe matematică (spoiler, intre timp am scris si varianta mai simpla, mi-a luat cred 5 ani, exagerat de mult, va urma).
🥳 De câte ori am popularizat știința, am încercat să merg cât mai adânc, atât cât am putut. Când era vorba de fizică a fost ușor, știam ecuațiile de bază, dar la biologie? Mi-a luat un an și jumătate ca să învăț ca un student, pagină cu pagină, biologie moleculară din celebra carte „The cell” (1500 de pagini!). Am studiat după cursuri de neuroștiință și fiziologie (intră și în domeniul meu de cercetare) și am făcut un curs de schimbări climatice (apoi am am învățat și după o carte de fizică a schimbărilor climate, cu ecuații). Și altele. Bine, asta nu mă absolvă de greșeli pe care încă le mai fac și de simplificări care sunt forțate, mai ales când intru în domenii în care știu mai puțin. Ați văzut, sunt deschis la critici (dar nu la înjurii).
🥳Acum câteva luni m-am simțit copleșit de inteligența artificială. Am avut și încă mai am senzația acum că e sfârșitul nostru într-ale analizei. Nu că AI ne va domina (că probabil va veni și asta) ci că ea are atât de mulți neuroni mult mai rapizi decât ai noștri, că neuronii ei analizează teze de doctorat într-o fracțiune de secundă! Nu știu voi cum vă simțiți, eu mă simt ca la sfârșitul unei ere a umanității. Apelez la chatgpt și restul și mă întreb, care mai este rostul meu profesional? Care va fi pe viitor? Tot ce fac eu (schimb de informație), poate face și AI-ul, mult mai repede. Și mi-am zis, Cristi, te dai bătut? Cum poți vorbi de inteligența artificială fără să o cunoști în amănunt, așa cum ai învățat ecuațiile fizicii? Și mi-am propus să o învăț, programând propriul meu chatgpt de la zero, după cartea Fizica Povestită! Făcând, așa se invață cel mai bine. Voi n-ați face așa, în situația mea?
🥳 Baza o aveam. Am programat de la zero rețele neuronale în Matlab. Știu ceva python, dar puțin. Așa că 1) am făcut un curs de advanced Python 2) am învățat singur ceva de pytorch (librăria lor pentru rețele neuronale) 3) Am făcut un alt curs de bazele LLM-urilor (cele care stau la baza chatgpt). 4) M-am apucat de cartea Build a Large Language Model (link in comment) care are și rutine de python. 5) Am completat cu videouri lămuritoare pe internet.
🥳 Azi, dupa două luni cred, am ajuns la jumătatea cărții. Modelul meu de LLM este implementat, dar nu este încă antrenat. De aceea spune prostii. Mai am o jumătate de carte: o lună, două, trei, nu știu.
🥳 Nu îmi ia atât de mult timp programarea, cât mai ales înțelegerea mecanismului din spate. Cum se poate ca sutele de milioane de parametri care sunt antrenați să genereze texte noi? Cum funcționează mecanismul de atenție („Atention is all you need”) cu query, keys si values? De ce el a revoluționat AI-ul? Care sunt vectorii de informație în spațiul intern al LLM-ului (embeded tokens)? Cum se asociază ei cu modul încare înțelegem noi informația?
🥳 Pentru mine, întrebările de mai sus sunt cele mai grele. Ele sunt fundamentale nu numai pentru înțelegerea AI-ului, dar și pentru înțelegerea noastră ca oameni. Eu simt adeseori cum neuronii mei sunt în competiție cu cei ai AI-ului. Nu vorbesc de viață, suflet, existența însăși, etc. vorbesc de modul în care neuronii mei procesează informația și modul în care AI-ul o face. În primul caz știm foarte puțin, în al doilea caz, deși am programat-o, e greu să vizualizăm în reprezentările noastre modul intern de flux al informației pentru AI. Practic, nu îi cunoștem „reprezentările ei interne”. Iî calculăm, de exemplu, un vector de context sau altul, despre care știm că stochează informație, dar cu miliarde de vectori ce om mai poate „reprezenta” ce este în „mintea” ei? Dacă ea (AI) are reprezentări interne pe care noi nu le putem transpune pe formele noastre interne de reprezentare, nu înseamnă că spațiul ei este „privat” în măsura în care și al nostru este?
🥳 Of, îmi dau seama că acum am mai multe întrebări decat răspunsuri. Nu e așa mereu după ce înveți ceva nou? Nu acesta este omul? Vor urma și niște videouri în care să împărtășesc experiența mea. Poate că programatorii profesioniști vor râde de încetineala mea și de lipsa mea de cunoștințe, dar hei, sunt doar un fizician și un popularizator de știință, mă duc în adâncime atât cât pot și, foarte probabil că LLM-urile sunt ultimul lucru complex pe care îl voi mai studia în viața asta a mea. Nu știu dacă mai am energia și flexibilitatea neuronilor unui tânăr de 20 de ani dornic să învețe lucruri noi (am pus o poză mai veche, să sper).
🥳 Dar hei, azi sunt fericit! Mulțumit! Am muncit și am fost răsplătit cu aceste linii de cod. Par o prostie, dar nu sunt. În spate sunt mii de linii de cod scrise de mine și sute de ore de muncă și învățare. Sunt la mijlocul drumului, mai am. Dar am învățat ceva nou și, pentru asta, mă simt atât de bine! Nu îmi vine decât să strig în gura mare:
Sunt tânăr, Doamnă, tânăr, de-aceea nu te cred,
oricât mi-ai spune, timpul nu-și ascute gheara
deși arcașii ceții spre mine își reped
săgețile vestirii, sunt tânăr. Bună seara!
(Mircea Dinescu)
media advertising
![](https://mapamond.media/wiseme.png"){kind=small}
