Cum a ajuns AI să converseze cu noi? Revoluția care a adus ChatGPT

Între 2017 și 2022, inteligența artificială a făcut un pas care ne privea direct: a devenit tot mai capabilă să genereze texte, imagini și cod pornind de la cereri scrise. ChatGPT a adus această schimbare într-un loc familiar, o fereastră de conversație.*

Vezi toate articolele din seria înțelege Inteligența Artificială.

Imaginează-ți că ai de scris un e-mail dificil. Știi ce vrei să spui, dar nu găsești formularea potrivită. Deschizi o pagină, descrii situația în câteva rânduri și primești o propunere. Este prea formală, așa că îi ceri programului să o facă mai firească. Apoi îi explici că destinatarul este un client vechi și că vrei să păstrezi un ton prietenos. Textul se schimbă odată cu precizările tale.

La sfârșitul lui 2022, asemenea încercări deveneau posibile într-un serviciu public numit ChatGPT. Nu trebuia să cunoști programare pentru a începe. Puteai porni de la o nevoie obișnuită și de la cuvintele cu care ai fi explicat-o unui coleg.

După calculatoarele care învingeau campioni la jocuri sau recunoșteau obiecte în fotografii, apărea o experiență mult mai apropiată de viața de zi cu zi. Puteai testa singur tehnologia, pe un lucru care te interesa. Ca să înțelegem cum s-a ajuns aici, trebuie să ne întoarcem cu cinci ani în urmă, la o problemă întâlnită de oricine a tradus vreodată un text.

Cuvintele își schimbă sensul când le pui împreună

În propoziția „Am lăsat cartea pe bancă”, ne imaginăm un loc pe care te poți așeza. În „Am depus banii la bancă”, același cuvânt înseamnă altceva. Noi folosim contextul aproape fără să observăm. Pentru un program, relațiile dintre cuvinte trebuiau să poată fi reprezentate prin calcule.

În 2017, Ashish Vaswani și șapte colaboratori au publicat lucrarea Attention Is All You Need. Ei propuneau o nouă organizare a unei rețele neuronale, numită Transformer, pe care au testat-o în traducerea automată.

Mecanismul central, numit „atenție”, permitea sistemului să calculeze legături între diferite părți ale textului și să le acorde importanță diferită. Termenul descrie o operație matematică, fără să presupună atenție conștientă. În plus, noua organizare permitea efectuarea mai multor calcule în paralel în timpul antrenării, reducând timpul necesar în experimentele prezentate.

Pentru cititor, ideea importantă este simplă: cercetătorii aveau o metodă mai eficientă de a prelucra relațiile din limbaj. Această metodă avea să fie folosită atât pentru interpretarea textelor, cât și pentru generarea lor.

Din textele oamenilor, un sistem învață să continue

În 2018, OpenAI a prezentat primul model din familia GPT. Abordarea presupunea o pregătire inițială pe multe texte, urmată de adaptarea modelului la sarcini mai precise. Același punct de plecare putea fi folosit pentru mai multe probleme de limbaj, ceea ce reducea nevoia de a construi de fiecare dată un sistem separat.

Un exercițiu central al pregătirii era anticiparea continuării unui text. Modelul primea un fragment și încerca să estimeze ce urmează. Repetat la scară mare, acest proces îl ajuta să învețe regularități de exprimare și relații între informațiile din texte.

Pare un exercițiu modest până când ne gândim ce presupune o continuare potrivită. După „Maria a pus înghețata în...”, unele cuvinte sunt mult mai plauzibile decât altele. Într-un paragraf lung, continuarea trebuie să se potrivească și cu subiectul, stilul, persoanele sau evenimentele pomenite înainte. Pentru a deveni mai bun la această sarcină, modelul trebuie să surprindă multe dintre aceste relații.

În 2019, GPT-2 a arătat că această pregătire putea produce paragrafe coerente pornind de la un început oferit de utilizator. Rezultatele aveau limite și puteau pierde firul, însă devenea vizibilă o capacitate care depășea completarea câtorva cuvinte.

Un model antrenat pe limbaj putea folosi aceeași pregătire pentru mai multe tipuri de cereri. Acesta era unul dintre motivele pentru care direcția atrăgea tot mai mult interes.

Modelele lingvistice nu erau dezvoltate de o singură companie

În aceeași perioadă, Google dezvoltase BERT, prezentat în 2018. Era tot un model bazat pe Transformer, orientat spre interpretarea limbajului în context. În 2019, Google a anunțat folosirea lui în motorul de căutare pentru a interpreta mai bine anumite întrebări. Progresul ajungea astfel la utilizatori în interiorul unui serviciu cunoscut, fără ca aceștia să deschidă o aplicație AI separată.

OpenAI a prezentat GPT-3 în 2020. Cercetarea arăta că modelul putea aborda sarcini variate pornind de la instrucțiuni sau câteva exemple introduse în textul primit, fără o nouă antrenare pentru fiecare dintre acele cereri. Performanța varia, dar posibilitatea era importantă: felul în care formulai cererea începea să conteze tot mai mult în folosirea modelului.

În 2021, Google a prezentat LaMDA, un sistem dezvoltat pentru dialog. Era o direcție de cercetare anunțată public, nu echivalentul unui serviciu disponibil atunci tuturor. Distincția contează: demonstrarea unei capacități și transformarea ei într-un produs accesibil sunt etape diferite.

Privite împreună, aceste proiecte arată că drumul spre conversație era construit de mai multe echipe. Unele încercau să îmbunătățească găsirea informațiilor, altele urmăreau generarea textului sau dialogul. ChatGPT avea să apară în acest peisaj aflat deja în mișcare.

AI începea să intre în aplicațiile de lucru

Pentru ca asemenea modele să fie utile în afara laboratoarelor, dezvoltatorii aveau nevoie de o cale de a le include în propriile produse. În 2020, OpenAI a deschis, inițial cu acces limitat, un serviciu prin care alte aplicații puteau trimite cereri către modelele sale și primi rezultate. Această legătură se numește API.

Să ne imaginăm o aplicație care ajută un magazin să scrie descrieri de produse. Utilizatorul completează câteva câmpuri, aplicația trimite informațiile către un model, iar textul generat apare în pagina de lucru. Firma care construiește aplicația poate organiza experiența în jurul unei nevoi concrete, folosind un model dezvoltat de altă companie.

Aici se află o distincție utilă și astăzi: modelul produce rezultatul, iar aplicația organizează felul în care îl ceri și îl folosești. Două servicii care arată diferit pot utiliza în spate aceeași familie de modele.

Un exemplu concret a fost GitHub Copilot, oferit mai întâi într-o versiune de test în 2021 și disponibil pe scară largă dezvoltatorilor din iunie 2022. Acesta sugera cod chiar în programul în care utilizatorul lucra. Programatorul putea examina propunerea, o putea modifica sau respinge. AI începea să participe la o activitate reală, în locul în care acea activitate se desfășura deja.

Apoi cuvintele au început să producă imagini

În paralel, o altă schimbare făcea progresul ușor de văzut. În ianuarie 2021, OpenAI a prezentat DALL·E, un model care genera imagini pornind de la descrieri scrise. Unul dintre exemplele prezentate era un fotoliu în formă de avocado. Cererea combina lucruri familiare într-un obiect neobișnuit, iar sistemul propunea reprezentări vizuale.

În 2022, DALL·E 2 a îmbunătățit calitatea rezultatelor. În același an, Midjourney oferea propriile modele de generare a imaginilor, iar în august a fost lansat public Stable Diffusion. Acesta din urmă putea fi descărcat și folosit, în condițiile licenței, inclusiv pe echipamente compatibile ale utilizatorilor. Dezvoltatorii puteau construi și alte aplicații în jurul lui.

Aceste sisteme aveau metode și condiții de acces diferite. Pentru public, legătura dintre ele era însă imediată: scriai ce imagine îți dorești și primeai variante pe care le puteai vedea. Puteai explora o idee chiar dacă nu știai să o desenezi, deși rezultatul nu urma întotdeauna corect toate detaliile cererii.

Expresia „AI generativă” descrie această familie de capacități: producerea de conținut, precum texte, imagini sau cod, pe baza regularităților învățate în antrenare. Domeniul avea rădăcini mai vechi, însă aceste lansări făceau posibilitățile sale mult mai vizibile.

Calculatorul putea contribui acum la prima versiune a unui lucru pe care voiai să-l creezi. Pentru un utilizator confruntat cu pagina goală, aceasta era o schimbare ușor de simțit. Rămâneau de judecat calitatea, potrivirea și corectitudinea rezultatului.

A scrie fluent nu înseamnă a răspunde cum trebuie

Modelele de limbaj aveau încă o dificultate importantă. Un sistem pregătit să continue texte putea răspunde unei întrebări într-un mod nepotrivit sau putea continua cu alte întrebări, în loc să ofere ajutorul cerut. Creșterea dimensiunii modelului nu rezolva automat această problemă.

În 2022, cercetarea OpenAI despre InstructGPT a descris o etapă suplimentară de pregătire. Oamenii ofereau exemple de răspunsuri dorite și comparau variante produse de model. Aceste evaluări erau folosite pentru a-l orienta spre răspunsuri mai apropiate de intenția utilizatorului.

Imaginează-ți diferența dintre a primi o continuare plauzibilă după propoziția „Explică-mi ce este dobânda” și a primi o explicație scurtă, cu un exemplu potrivit unui începător. A doua variantă presupune ca sistemul să urmărească cererea, dincolo de capacitatea de a produce text fluent.

Această muncă a contribuit la pregătirea modelelor pentru rolul de asistent. Nu elimina greșelile, dar ajuta la transformarea unei capacități de generare într-o interacțiune mai folositoare.

ChatGPT transformă tehnologia într-o conversație

Pe 30 noiembrie 2022, OpenAI a lansat ChatGPT ca serviciu experimental accesibil publicului, gratuit în acea etapă. Sistemul folosea un model din familia GPT-3.5, ajustat pentru dialog cu ajutorul evaluărilor umane.

Interfața permitea întrebări succesive și precizări în aceeași conversație. Nu era primul program cu care puteai discuta, însă combinația dintre diversitatea cererilor abordate, răspunsurile dezvoltate și accesul simplu făcea experiența diferită de cea a multor asistenți anteriori.

Să revenim la e-mailul de la început. Valoarea nu stă doar în obținerea unei prime variante. Poți observa ce lipsește, poți explica mai bine situația și poți cere o revizuire. În loc să formulezi perfect cererea de la prima încercare, ai posibilitatea să o clarifici pe parcurs. Acesta este unul dintre motivele pentru care conversația reprezintă o schimbare atât de importantă în relația cu un program.

Limbajul obișnuit devenea o cale de acces la capacități pe care, până atunci, mulți oameni nu avuseseră ocazia să le încerce direct. Pentru a începe, era suficient să ai o întrebare sau ceva de făcut. Pentru a obține rezultate bune, aveai în continuare nevoie de judecată și de explicații clare.

Limita era prezentă chiar în anunțul lansării: ChatGPT putea produce răspunsuri care sunau convingător, dar erau greșite. O explicație fluentă nu dovedea că informația fusese verificată. Aceeași ușurință care făcea programul atrăgător putea încuraja și o încredere prea mare în el.

De aici începea o altă etapă

La sfârșitul lui 2022, mai multe schimbări se întâlniseră. Existau modele care generau texte, servicii care produceau imagini, aplicații care sugerau cod și o interfață conversațională prin care publicul putea încerca o gamă largă de cereri.

Pentru noi, importanța perioadei stă în această apropiere de activitățile obișnuite.
AI putea deveni relevantă atunci când trebuia să explici ceva, să pregătești un text sau să explorezi o idee vizuală. Nu mai era nevoie să urmărești un meci între un campion și un calculator pentru a-i observa posibilitățile.

ChatGPT a devenit reperul acestei întâlniri dintre progresul tehnic și accesul public. Totuși, povestea care urma să se desfășoare era mult mai largă decât un singur serviciu. În articolul următor intrăm în anii 2023 până în 2026: apariția concurenților, înmulțirea aplicațiilor și trecerea de la răspunsuri într-o conversație la sisteme care lucrează cu fișiere, folosesc instrumente și execută sarcini.

Dacă apreciezi conținutul Omul Digital, susține dezvoltarea proiectului.

Surse și documentare

1. Ashish Vaswani și colaboratorii, Attention Is All You Need, 2017. Arhitectura Transformer și rezultatele inițiale în traducere.

2. OpenAI, Improving language understanding with unsupervised learning, 2018, și Better language models and their implications, 2019. Primele modele GPT și GPT-2.

3. Google, Understanding searches better than ever before, 2019. BERT și folosirea sa în căutare.

4. Tom Brown și colaboratorii, Language Models are Few-Shot Learners, 2020. GPT-3 și abordarea sarcinilor pornind de la exemple.

5. Google, LaMDA: our breakthrough conversation technology, 2021. Cercetarea în domeniul dialogului.

6. OpenAI, OpenAI API, 2020. Accesul dezvoltatorilor la modele.

7. GitHub, GitHub Copilot is generally available to all developers, 21 iunie 2022. Integrarea generării de cod în activitatea programatorilor.

8. OpenAI, DALL·E: Creating images from text, 2021, și DALL·E 2, 2022. Generarea imaginilor pornind de la text.

9. Midjourney, Legacy Features. Documentație retrospectivă despre versiunile din 2022.

10. Stability AI, Stable Diffusion Public Release, august 2022. Lansarea publică și modalitățile de acces.

11. Long Ouyang și colaboratorii, Training language models to follow instructions with human feedback, 2022. Rolul exemplelor și al evaluărilor umane în InstructGPT.

12. OpenAI, Introducing ChatGPT, 30 noiembrie 2022. Lansarea, pregătirea pentru dialog și limitările declarate.