QA Engineer (m/f/n)

Dla jednego z naszych partnerów biznesowych poszukujemy specjalisty na stanowisko QA Engineer (m/f/n)

Oferta:

Stawka do ok. 125 zł/h netto+VAT

• Kontrakt B2B z SHIMI
• Praca w 100% zdalna
• Start: ASAP
• Czas trwania projektu: do 14.12.2026, z realną perspektywą kontynuacji przez co najmniej 12 miesięcy w związku z planowanym rozwojem projektu w 2027 rokuO projekcie
• Dotyczy automatyzacji produkcji gazet reklamowych dla regionalnego wydawcy. Na podstawie zamówionych reklam i insertów system określa wielkość wydania. Pipeline’y AI generują treści redakcyjne na podstawie e-maili, danych owydarzeniach i materiałów archiwalnych. Dwa solvery oparte na OR-Tools CP-SAT odpowiadają za dobór treści i układ stron. Końcowym wynikiem jest gotowy do druku PDF w jakości 300 dpi, zgodny z PDF/X-3.

W procesie pozostają dwa punkty kontroli manualnej:akceptacja redakcyjna, akceptacja przed drukiem.

System pracuje na niejednorodnych i często niekompletnych danych wejściowych. Część rozwiązania jest niedeterministyczna ze względu na wykorzystanie AI, a część opiera się na optymalizacji matematycznej.

Model pracy: duża samodzielność; osoba otrzymuje cele i dostęp do systemów, samodzielnie definiuje specyfikację testów i prowadzi temat, współpracując z Tech Leadem.

Stack technologiczny

• Python
• PostgreSQL
• AWS EKS
• LangGraph
• LiteLLM
• Langfuse
• Redis
• Grafana
• React
• Type
• Script
• Wymagania must-havepoziom Senior i doświadczenie w samodzielnym prowadzeniu QA w co najmniej jednym projekcie, doświadczenie w samodzielnym tworzeniu i wdrażaniu test concept / test strategy, bardzo dobra znajomość automatyzacji testów w Pythonie i pytest, doświadczenie w konfiguracji i utrzymywaniu testów w pipeline’ach CI, doświadczenie w testowaniu backendów i systemów danych, w tym API, data pipelines, batch processing i integracji, doświadczenie w generowaniu syntetycznych lub rule-based danych testowych, doświadczenie w runtime, performance i volume testing systemów backendowych lub batchowych, doświadczenie w testowaniu parallel processing, umiejętność projektowania scenariuszy wydajnościowych, definiowania metryk analizowania bottlenecków, doświadczenie w automatyzacji testów frontendu, np. Playwright lub narzędzie porównywalne, doświadczenie w testach manualnych i exploratory testing, doświadczenie z defect classification, severity levels i release criteria, angielski C1 (to język projektu)

Dodatkowe atutydoświadczenie w testowaniu systemów AI / ML / LLM, doświadczenie w evaluation i pracy z niedeterministycznymi wynikami, znajomość Langfuse lub podobnych narzędzi, doświadczenie w tworzeniu AI-supported test agents lub LLM-based test automation, property-based testing, doświadczenie w testowaniu systemów optymalizacyjnych lub planistycznych, doświadczenie w walidacji PDF lub materiałów do druku, doświadczenie w branży publishing / media, znajomość języka niemieckiego.

Zakres odpowiedzialności1. Test concept i podejście do QAstworzenie i utrzymywanie koncepcji testów, określenie poziomów testów i podziału odpowiedzialności pomiędzy development i QA, risk-based prioritization, określenie podejścia do środowisk i danych testowych, zdefiniowanie klasyfikacji błędów i severity levels, określenie kryteriów dla blockerów, zdefiniowanie acceptance i release criteria dla testowych wydań oraz produkcyjnego go-live, przygotowanie dokumentacji umożliwiającej nowym osobom rozpoczęcie testów bez dodatkowego walkthrough.2. Test automationprzygotowanie koncepcji automatyzacji testów i jej wdrożenie, testy integracyjne i API, testowanie pipeline’ów, automatyzacja w Pythonie z wykorzystaniem pytest, integracja testów z CI, testy regresji PDF, w tym visual comparison, preflight i walidacja PDF/X-3,automatyzacja testów frontendu, np. przy użyciu Playwright, opcjonalnie wykorzystanie AI-supported testing, np. LLM-driven browser agents, generowanie przypadków testowych lub danych testowych.3. Test datagenerowanie syntetycznych, zróżnicowanych danych testowych według zdefiniowanych reguł, uwzględnianie niekompletnych danych, błędów formatów, duplikatów i edge case’ów, testowanie różnych kombinacji wielkości wydań i struktury reklam, budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań, property-based testing, np. Hypothesis.4. Mierzenie jakościdefiniowanie i automatyczne zbieranie metryk jakościowych, monitorowanie trendów i regresji.

Przykładowe metryki dla solvera:

• fill rate,
• white space,
• stosunek reklam do treści redakcyjnych,
• naruszenia reguł,
• runtime względem search budget.

Przykładowe metryki dla pipeline’ów AI:

zgodność długości tekstu z założonym limitem,

regresje po zmianie promptu lub modelu.5. Runtime, performance i volume testingpomiar czasu wykonania, throughputu i jakości wyniku, testowanie dużych wydań, testowanie ponownych uruchomień wynikających z późnych zmian, testowanie kilku tytułów produkowanych równolegle, analiza runtime i jakości wyników solvera, testy wolumenowe oparte na syntetycznych danych, profiling i analiza metryk w Grafanie, testowanie skalowania w AWS EKS, uwzględnienie docelowego wdrożenia rozwiązania na większą skalę oraz późniejszego rozszerzenia rozwiązania na dzienniki.6. Manual testingexploratory testing, release testing w obszarach, w których automatyzacja nie jest uzasadniona lub nie została jeszcze wdrożona, planowanie i dokumentowanie testów manualnych.