Kurs i obuka – Evaluacija i pouzdanost generativnih AI aplikacija

Kurs je namenjen razvojnim i QA timovima koji proveravaju generativne AI aplikacije. Stečene veštine mogu biti korisne u IT-u, korisničkoj podršci, razvoju RAG sistema i internom nadzoru kvaliteta.

Preporučeno prethodno znanje: Poznavanje LLM aplikacija i osnovnog testiranja; Python poželjan.

Tokom nastave polaznik će kroz praktičan rad učiti da:

• ciljevi kvaliteta i rizici – Tačnost, relevantnost, korisnost, bezbednost; taksonomija grešaka.
• test skupovi i referentni odgovori – Reprezentativni slučajevi, negativni primeri, uzorkovanje i verzionisanje.
• automatska i ljudska evaluacija – Determinističke provere, LLM-as-judge sa ograničenjima, međusaglasnost ocenjivača.
• rAG, halucinacije i robusnost – Proverljivost prema izvoru, odgovor van znanja, prompt injection, adversarial testovi.
• regresiono testiranje i praćenje – Metrike kroz verzije, pragovi prihvatanja, upozorenja i evidencija eksperimenata.
• završni evaluacioni izveštaj – Analiza nalaza, ograničenja, korektivne aktivnosti i dokumentacija.

Znanja iz oblasti „Evaluacija i pouzdanost generativnih AI aplikacija“ mogu pomoći da se konkretnije pristupi zadacima kao što su pravljenje test skupova, definisanje kriterijuma, proveru halucinacija, stabilnosti i bezbednosti izlaza. Njihova vrednost je u pravilnom izboru postupka, jasnom dokumentovanju rada i proveri dobijenih rezultata.

Nijedna pojedinačna metrika ne garantuje pouzdanost; potrebna je kombinacija automatizovanih i ljudskih provera.

Obuka se organizuje kao individualna nastava (1 polaznik) u trajanju od 24 školskih časova, mikro grupa (2–3 polaznika) u trajanju od 24 školskih časova ili standardna grupna nastava (4 i više polaznika) u trajanju od 30 školskih časova.

Nastava se može realizovati uživo u prostorijama Akademije Oxford ili online, prema odabranom modelu. U grupnoj nastavi predviđeno je više vremena za dodatne vežbe, diskusiju i zajedničku proveru rezultata.

Po završetku obuke polaznik će moći da sprovede osnovni radni postupak iz oblasti „Evaluacija i pouzdanost generativnih AI aplikacija“, primeni obrađene alate na zadati primer, proveri dobijene rezultate i predstavi praktično rešenje. Nivo samostalnosti zavisi od prethodnog znanja i složenosti konkretnog zadatka.

1. Ciljevi kvaliteta i rizici – Tačnost, relevantnost, korisnost, bezbednost; taksonomija grešaka. Praktičan rad: Definisati rubriku ocenjivanja za jedan poslovni slučaj.
2. Test skupovi i referentni odgovori – Reprezentativni slučajevi, negativni primeri, uzorkovanje i verzionisanje. Praktičan rad: Sastaviti mali evaluacioni dataset.
3. Automatska i ljudska evaluacija – Determinističke provere, LLM-as-judge sa ograničenjima, međusaglasnost ocenjivača. Praktičan rad: Uporediti automatsku procenu sa ručnim ocenama.
4. RAG, halucinacije i robusnost – Proverljivost prema izvoru, odgovor van znanja, prompt injection, adversarial testovi. Praktičan rad: Testirati nepravilne i kontradiktorne dokumente.
5. Regresiono testiranje i praćenje – Metrike kroz verzije, pragovi prihvatanja, upozorenja i evidencija eksperimenata. Praktičan rad: Postaviti test koji otkriva pogoršanje rezultata.
6. Završni evaluacioni izveštaj – Analiza nalaza, ograničenja, korektivne aktivnosti i dokumentacija. Praktičan rad: Predati test skup i izveštaj sa prioritetima popravke.