Programista-Analityk Data Platform | Kafka

Do długoterminowego projektu Data Platform poszukujemy osoby łączącej kompetencje programistyczne i analityczne. Rola obejmuje zarówno tworzenie nowoczesnych rozwiązań opartych na Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg, jak również analizę wymagań, modelowanie danych oraz współpracę z interesariuszami i zespołami IT.

Celem jest rozwój platformy streamingowej oraz rozwiązań wspierających sprawny przepływ i udostępnianie danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS.

Zakres projektu- Analiza potrzeb biznesowych i technicznych we współpracy z analitykami oraz zespołami IT.- Przekładanie wymagań na specyfikacje funkcjonalne i techniczne oraz konkretne rozwiązania.- Projektowanie przepływów i modeli danych pomiędzy systemami źródłowymi, Apache Kafka oraz warstwą ODS.- Tworzenie dokumentacji, w tym use case'ów, user stories, diagramów danych oraz mapowania pól.- Projektowanie topików Kafka, w tym zasad nazewnictwa, partycjonowania i schematów Avro.- Projektowanie struktur danych w MongoDB, modeli GraphQL oraz tabel Apache Iceberg.- Rozwijanie mikroserwisów w Java / Spring Boot, obejmujących m.in. producentów, konsumentów i przetwarzanie strumieniowe.- Budowa oraz rozwój warstwy GraphQL udostępniającej dane z MongoDB.- Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect.- Tworzenie własnych Single Message Transforms (SMT) oraz konwerterów danych.- Implementacja mechanizmów monitoringu i observability z wykorzystaniem Prometheus, Grafana, OpenTelemetry, Vector, ELK oraz Dynatrace.- Analiza i rozwiązywanie problemów związanych z replikacją, opóźnieniami oraz jakością i spójnością danych.- Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności oraz kosztów.- Udział w code review, warsztatach technicznych i dzieleniu się wiedzą.- Współpraca z Data Engineerami, DevOpsami, analitykami oraz testerami w środowisku Agile.- Udział w spotkaniach projektowych raz w miesiącu we Wrocławiu.

Wymagdania- Minimum 3 lata doświadczenia w środowiskach produkcyjnych.- Bardzo dobra znajomość Apache Kafka, w szczególności brokerów, topiców, partycjonowania, replikacji i schematów.- Biegłość w Kafka Streams oraz kSQL.- Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno z wykorzystaniem gotowych konektorów, jak i własnych rozszerzeń.- Bardzo dobra znajomość Javy oraz Spring / Spring Boot, mile widziane doświadczenie z Spring Cloud, Spring Security i Spring Data.- Doświadczenie w projektowaniu oraz optymalizacji baz MongoDB, w tym schematów dokumentowych, indeksów i zapytań.- Znajomość GraphQL – projektowanie schematów i implementacja resolverów.- Podstawowa znajomość Apache Iceberg, w szczególności struktury tabel i zarządzania metadanymi.- Znajomość Java i Python.- Doświadczenie z narzędziami observability, w szczególności Prometheus, Grafana i OpenTelemetry.- Znajomość mechanizmów bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL oraz szyfrowanie danych w tranzycie i spoczynku.- Znajomość Scrum lub Kanban oraz narzędzi takich jak Jira i Confluence.- Umiejętność swobodnego poruszania się pomiędzy obszarem analizy, projektowania rozwiązania i jego implementacji.- Komunikatywność i umiejętność współpracy z osobami o profilu biznesowym oraz technicznym