Un model de limbaj mare (LLM) generează text. În spatele fiecărui răspuns stau patru pași.
Pasul 1. Textul devine tokeni
Modelul împarte textul în bucăți mici, numite tokeni. Un token are de obicei 3-4 caractere în engleză. Cuvântul „inteligență” devine trei sau patru tokeni.
Pasul 2. Antrenarea pe texte
Modelul citește miliarde de pagini: cărți, articole, cod. La fiecare pas ghicește tokenul următor și își corectează greșeala. Antrenarea durează luni și folosește mii de plăci grafice.
Pasul 3. Ajustarea pentru conversație
Un model antrenat numai pe texte continuă fraze, dar nu răspunde la întrebări. Echipele îl ajustează cu exemple de dialog. Oamenii evaluează răspunsurile, iar modelul învață ce răspuns preferă ei. Metoda se numește RLHF.
Pasul 4. Generarea răspunsului
Când scrii o întrebare, modelul calculează probabilitatea fiecărui token candidat. Alege unul, îl adaugă la text și repetă. Un răspuns de 300 de cuvinte înseamnă sute de astfel de pași.
De ce greșește modelul
Modelul alege tokenul cel mai plauzibil, nu tokenul adevărat. De aceea scrie uneori date sau surse false în același ton ca pe cele corecte. Experții numesc fenomenul „halucinație”.