Întreabă un model de limbaj ce se întâmplă în firma ta săptămâna trecută. Răspunsul va fi un nonșalant, plauzibil, complet inventat. Întreabă-l ce este RAG și va oferi o definiție decentă, dar generică, valabilă pentru orice companie, în orice an. Diferența dintre cele două întrebări nu e în întrebare, ci în arhitectura din spate.
RAG, sau Retrieval-Augmented Generation, este o tehnică care îmbină două sisteme: un motor de căutare care recuperează documente relevante dintr-o bază de date și un model de limbaj care sintetizează un răspuns pe baza acelora. În loc să se bazeze exclusiv pe cunoștințele înscrise în parametrii săi, modelul primește mai întâi contexte concrete, apoi le folosește ca material de lucru.
De ce a apărut problema
Modelele de limbaj mari sunt antrenate pe un corp uriaș de texte, dar au limite clare. Ele nu știu ce se întâmplă după data la care a fost încheiat antrenamentul. Nu știu ce scrie în manualul intern al companiei tale. Nu știu ce decizie a luat echipa de produs în ședința de ieri.
Există o a doua limită, mai puțin vizibilă: halucinația. Un model poate genera un răspuns fluid, bine structurat, cu un ton convingător, care este totuși greșit. În aplicații medicale, juridice sau financiare, un răspuns plauzibil dar fals nu e un defect minor. E un risc.
RAG atacă ambele probleme. În loc să forțezi modelul să „știe
