Agentni sistem RAG za podporo zaposlenim v večjih podjetjih

Predstavljamo zasnovo, izvedbo in vrednotenje agentnega sistema RAG, ki zaposlenim v velikem telekomunikacijskem podjetju omogoča pogovorno iskanje informacij po bazi znanja, zgrajeni iz vsebin javne spletne strani. Sistem sestavljata cevovod za zajem podatkov, ki spletne vsebine pretvarja v vektorske vložitve v bazi Azure AI Search, in agentna aplikacija, zgrajena z ogrodjem LlamaIndex, ki po vzorcu ReAct sama odloča o hibridnem iskanju ter vsak odgovor podpre z navedbo virov. Poleg oblačnega jezikovnega modela sistem prek prehoda Bifrost za umetno inteligenco uporablja lokalno gostujoče modele, pri katerih podatki ne zapuščajo infrastrukture podjetja. Na naboru 105 realnih vprašanj testnih uporabnikov delež uspešnih odgovorov po širši opredelitvi, ki šteje tudi delno pravilne in upravičeno zavrnjene odgovore, znaša 94,3 %, delež v celoti pravilnih pa 67,6 %; prvi del odgovora uporabnik običajno prejme po približno petih sekundah. Anketa med testnimi uporabniki potrjuje prihranek časa, kot glavna izziva pa izpostavlja pokritost baze znanja in zaupanje v odgovore.