Kontext: Projekt pro Policii ČR, realizovaný v rámci práce v CLOUDFIELD.
Rozsáhlý spis znamená hodně dokumentů, skenů a vzájemných souvislostí. AIDA pomáhá s jejich zpracováním, extrakcí informací a přípravou podkladů pro další práci vyšetřovatele.
Řešení běží v Kubernetes uvnitř infrastruktury zákazníka, bez připojení k internetu nebo veřejnému cloudu. Tomu odpovídá výběr modelů, způsob jejich provozu i integrace s existujícími informačními systémy.
Moje role:
- Architektura AI vrstvy a lokálního provozu modelů na GPU.
- Výběr a porovnávání modelů na připravených testovacích podkladech.
- Vývoj klíčových částí orchestrátoru AI úloh.
- Spolupráce na integrační analýze a technickém vedení vývoje.
Na tomhle projektu je dobře vidět, co všechno je potřeba řešit při lokálním provozu AI. Kvalitu modelu, zpracování dokumentů, dostupné výpočetní prostředky a návaznost na aplikace, ve kterých lidé už pracují.
Technologie: Python, Kubernetes, lokální LLM, GPU inference, vLLM, LiteLLM.