Data Platform Developer-Analyst

Do zespołu Data Platform poszukujemy programisty-analityka, który nie tylko będzie budował nowoczesne rozwiązania oparte na Apache Kafka, Kafka Connect, Spring Boot, MongoDB, GraphQL i Apache Iceberg, ale także będzie odpowiedzialny za analizę wymagań biznesowych oraz mapowanie danych pomiędzy systemami źródłowymi, platformą streamingową i bazą ODS opartą o MongoDB i usługi graphQL. Idealny kandydat potrafi rozmawiać z interesariuszami, przekształcać ich potrzeby w techniczne specyfikacje oraz implementować je.

Zakres obowiązków Spotkania z analitykami i zespołami IT w celu zrozumienia procesów

• Analiza wymagań i projektowanie
• Mapowanie danych
• Implementacja usług
• Integracja danych (Kafka Connect) biznesowych i danych.

Tworzenie dokumentacji funkcyjnej (use-case, user-story) oraz technicznej (diagramy danych, mapowanie pól).

Projektowanie topików Kafka (naming, partycjonowanie, schematy Avro).

Definiowanie struktur kolekcji w MongoDB oraz modeli w GraphQL i tabel Iceberg.

Budowa mikroserwisów Spring Boot (producent/konsument, stream processing).

Implementacja warstwy GraphQL (schematy, resolvery) udostępniającej dane z MongoDB.

Konfiguracja i rozwój konektorów Kafka Connect.

Tworzenie własnych Single Message Transforms (SMT) i konwerterów w celu dopasowania formatów danych.

Monitoring & observability

• Wsparcie operacyjne
• Współpraca i mentoring
• Implementacja metryk (Prometheus, Grafana), logowania (Vector, ELK)oraz śledzenia (Open
• Telemetry, Dynatrace) dla przepływu zdarzeń.

Diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych.

Optymalizacja konfiguracji Kafki, MongoDB i Iceberg pod kątem wydajności oraz kosztów.

Praca w zespole Agile (Scrum/Kanban) razem z Data Engineerami, DevOpsami, analitykami i testerami.

Dzielenie się wiedzą – warsztaty, dokumentacja, code-review.

Wymagania techniczne Minimum 4 lata doświadczenia w środowiskach produkcyjnych; Apache Kafkaznajomość brokerów, topic-ów, partycjonowania, schematów, replikacji.

Biegła znajomość Kafka Streams, kSQL.

Kafka Connect Konfiguracja i rozwój konektorów (gotowe i własne).

Kategoria

Spring Boot

Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).

MongoDB Projektowanie schematów dokumentowych, indeksowanie, optymalizacja zapytań.

GraphQL Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów, resolvers.

Apache Iceberg

• Podstawowa znajomość formatu tabel i zarządzania metadanymi
• Języki / Scripting
• Java
• Monitoring \\Prometheus + Grafana, Open
• Telemetry.

Bezpieczeństwo TLS, SASL, ACL, szyfrowanie danych w spoczynku i tranzycie.

Metodyki AgilePraca w Scrum/Kanban, doświadczenie w Jira/Confluence.