Wymagania

Technologie wymagane

Azure AI

RAG

LLM

Python

Technologie mile widziane

Medical

MLflow / W&B

Nasze wymagania

• Minimum 6 lat doświadczenia w systemach AI/ML opartych na LLM
• Bardzo dobra znajomość architektury i praktyk budowy systemów RAG
• Umiejętność pracy z metrykami, ewaluacją i analizą jakości
• Swobodne poruszanie się w środowisku Azure AI lub Azure ML
• Wiedza o bazach wektorowych i podejściach embeddingowych
• Biegłość w tworzeniu promptów i technikach ograniczania halucynacji
• Doświadczenie z function calling i integracją z narzędziami zewnętrznymi
• Znajomość języka angielskiego na poziomie minimum B2

Twój zakres obowiązków

• Definiowanie metryk jakości (accuracy, hit-rate, faithfulness, latency) i budowanie pipeline'ów monitoringu
• Tworzenie i utrzymywanie zestawów benchmarkowych opartych na realnych pytaniach i golden answers
• Analizowanie wyników i identyfikowanie źródeł błędów: retrieval, halucynacje, problemy promptowe
• Optymalizowanie chunkingu, embeddingów, przechowywania wektorów i konfiguracji wyszukiwania
• Ulepszanie generacji poprzez dopracowanie promptów, formatowania i metod ograniczania halucynacji
• Udoskonalanie procesów function calling i walidacja poprawności wywołań
• Testowanie zaawansowanych technik RAG, takich jak query rewriting czy re-ranking