Data Platform Engineer (Kafka/Streaming)

Data Platform Engineer (Kafka/Streaming)

Twój zakres obowiązków Spotkania z analitykami i zespołami IT w celu zrozumienia procesów biznesowych i danych. Tworzenie dokumentacji funkcjonalnej (use case, user story) oraz technicznej (diagramy danych, mapowanie pól). Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro). Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg. Budowa mikroserwisów Spring Boot (producent/konsument, stream processing). Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB. Konfiguracja i rozwój konektorów Kafka Connect. Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych. Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK) oraz śledzenia (OpenTelemetry, Dynatrace) dla przepływu zdarzeń. Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych. Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów. Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami. Dzielenie się wiedzą – warsztaty, dokumentacja, code review. Nasze wymagania Minimum 3 lata doświadczenia w środowiskach produkcyjnych. Znajomość brokerów, topiców, partycjonowania, schematów i replikacji. Biegła znajomość Kafka Streams, kSQL. Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych). Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data). Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań. Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów. Podstawowa znajomość formatu tabel i zarządzania metadanymi. Znajomość Javy, Pythona Znajomość Prometheus, Grafana oraz OpenTelemetry. Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie. Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence. Aplikuj