Cel mai nou studiu OpenAI explică matematic de ce ChatGPT și alte modele mari de limbaj (LLM) pot genera afirmații false – fenomen denumit „halucinație”. Concluzia este incomodă: erorile nu sunt doar un efect secundar al seturilor de date imperfecte, ci rezultă inevitabil din modul de funcționare al acestor modele.
LLM-urile răspund prezicând, pas cu pas, următorul cuvânt cu cea mai mare probabilitate. Chiar și cu date de antrenare perfecte, acumularea erorilor pe parcursul unei propoziții crește rata totală de greșeli. Analiza arată că rata de eroare a generării pe fraze este cel puțin dublă față de rata la întrebări binare (da/nu), tocmai pentru că fiecare predicție adaugă risc suplimentar.
Altfel spus, frecvența halucinațiilor este limitată inferior de abilitatea modelului de a distinge răspunsurile valide de cele invalide. În multe domenii ale cunoașterii, această clasificare este intrinsec dificilă, ceea ce face ca halucinațiile să fie, practic, inevitabile.
Raritatea informației amplifică eroarea
Studiul arată și că faptele rare în datele de antrenare sunt mai ușor „halucinate” la interogare. Exemplu: dacă 20% dintre datele despre zilele de naștere ale unor persoane apar o singură dată în setul de antrenare, modelele de bază vor greși cel puțin 20% dintre întrebările similare. Testele pe modele de ultimă generație au ilustrat exact acest efect.
