Edge AI: Small Language Models on the Go

Umetna inteligenca na robu: majhni jezikovni modeli v jeziku GO. Širjenje naprav na robu, od pametnih telefonov in različnih nosljivih naprav do industrijskih senzorjev ali avtonomnih vozil, ponuja priložnost, da izkoristimo moč metod, ki temeljijo na umetni inteligenci, neposredno na mestu, kjer se podatki pridobivajo ali ustvarjajo. Vendar pa postane uporaba tradicionalnih velikih jezikovnih modelov (LLM) na napravah na robu z omejenimi viri nepraktična zaradi znatnih računalniških in pomnilniških zahtev, ki so običajno potrebne. V tem prispevku se raziskuje hitro razvijajoče se področje umetne inteligence na robu, pri čemer se posebej osredotočamo na razvoj in uvajanje majhnih jezikovnih modelov (SLM), optimiziranih za okolja na robu. Navedene so različne izzive in priložnosti, povezane s SLM, skupaj s pregledom trenutnih tehnik za stiskanje in optimizacijo modelov. Podan je tudi načrt prihodnjih raziskav in razvoja.