Izkušnje z uporabo lokalnih modelov LLM v sistemu COBISS

V preteklih letih smo v sistemu COBISS na podlagi velikih jezikovnih modelov in pristopa RAG razvili pametnega asistenta. Začetna implementacija je temeljila na uporabi zunanjih storitev (OpenAI), nato pa smo z uvedbo lokalnih modelov in knjižnice LangChain4j poenostavili razvoj in izboljšali razširljivost rešitev. Pozitivne izkušnje so potrdile našo strateško usmeritev k uporabi lokalno nameščenih odprtokodnih modelov, kar omogoča večji nadzor nad podatki, večjo zasebnost in nižje stroške. Umetno inteligenco smo razširili tudi na druga področja sistema COBISS. V aplikaciji COBISS Lib smo nadgradili obstoječe asistente in dodatno razvili več novih rešitev. Mikrostoritev CAT-AI omogoča avtomatizirano ekstrakcijo bibliografskih metapodatkov iz dokumentov in slik. Z umetno inteligenco podprta pomoč uporabnikom (angl. help desk) omogoča semantično iskanje po interni bazi znanja. Implementirali smo iskanje v naravnem jeziku, ki uporabniške poizvedbe pretvori v strukturirane iskalne zahteve za iskanje po bibliografskih oziroma raziskovalnih virih. Rešitve temeljijo na javanskem ekosistemu (Quarkus, LangChain4j) in arhitekturi mikrostoritev. V prispevku so predstavljene praktične izkušnje pri uvajanju lokalnih modelov in integraciji umetne inteligence v sistem COBISS.