Specjalista testów wydajności AI

Informacje o projekcie:Branża: bankowośćTryb pracy: Praca zdalna z możliwością spotkań w biurze w WarszawieStawka: do 140zł/h netto + VATData zakończenia: DługoterminowyStart: ASAPPodsumowanie: Analityk testów wydajności AI będzie odpowiedzialny za przeprowadzanie testów wydajnościowych systemów IT oraz usług opartych na modelach AI/ML i LLM, mających na celu identyfikację i optymalizację problemów wydajnościowych.Zakres obowiązków:Przeprowadzanie testów wydajnościowych systemów IT oraz usług opartych o modele AI/ML i LLM.Profilowanie aplikacji, pipeline'ów AI oraz procesów inferencji (CPU/GPU) oraz analiza problemów wydajnościowych w kluczowych systemach.Współpraca z Administratorami, Programistami, Architektami, zespołami ML i DevOps w celu zapewnienia optymalnej wydajności i stabilności systemów.Budowa mechanizmów zasilających systemy w duże wolumeny danych testowych, także dla modeli AI oraz środowisk RAG.Rozwój platformy automatycznych testów wydajnościowych, w tym scenariuszy obciążeniowych dla API oraz usług AI/LLM.Monitorowanie kluczowych metryk wydajnościowych (m.in. latency, throughput, tokens/s) oraz przygotowywanie rekomendacji optymalizacyjnych.Przygotowywanie raportów i prezentowanie wyników testów interesariuszom technicznym i biznesowym.Mile widziane:Minimum 4 lata doświadczenia w branży IT oraz co najmniej 3 lata w automatyzacji testów i analizie wydajności.Umiejętność programowania w jednym z języków: Python, JavaScript, JAVA.Znajomość narzędzi do testów obciążeniowych: JMeter, Gatling, SOAP UI, Load Runner.Doświadczenie w pracy z narzędziami APM (Dynatrace, Elastic) oraz w profilowaniu aplikacji i usług, w tym znajomość SQL.Doświadczenie w testowaniu wydajności modeli AI/ML (latency, throughput, tokens/s).Znajomość architektury LLM oraz pipeline’ów RAG i ich wpływu na wydajność systemów.Nice to Have:Znajomość narzędzi monitorujących i analitycznych dla modeli AI: MLflow, TensorBoard, Weights & Biases.Umiejętność projektowania scenariuszy obciążeń dla API usług AI/LLM oraz optymalizacji kosztowo-wydajnościowej.Rozumienie praktyk DevOps i automatyzacji procesów testowych.