Senior Data Platform Developer (Kafka)

O projekcie Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Engineera (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven. Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych o Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps. Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

Zakres obowiązkówprojektowanie i rozwój rozwiązań opartych o architekturę event-driven z wykorzystaniem Apache Kafka, budowa i rozwój mikroserwisów w Java oraz Spring Boot, implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL, projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych, implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów, rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych, automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych o Kafka Streams, wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska, diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych, optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji, współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi, udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.

Wymagania

Must-haveminimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych, minimum 3 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych, bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji, praktyczne doświadczenie z Kafka Streams oraz kSQL, doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów, bardzo dobra znajomość Java oraz Spring Boot, doświadczenie w projektowaniu i budowie mikroserwisów, znajomość schematów danych Avro, Protobuf oraz JSON Schema, doświadczenie w pracy z MongoDB, praktyczna znajomość Prometheus, Grafana oraz zagadnień observability, znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych, doświadczenie w pracy w metodykach Agile (Scrum/Kanban).

Mile widzianedoświadczenie z GraphQL, znajomość Apache Iceberg, znajomość OpenTelemetry, praktyczna znajomość Python, doświadczenie w środowiskach chmurowych, doświadczenie w automatyzacji procesów DevOps i CI/CD.

Tech Stack Apache Kafka | Kafka Streams | Kafka Connect | kSQL | Java | Spring Boot | MongoDB | GraphQL | Apache Iceberg | Avro | Protobuf | JSON Schema | Prometheus | Grafana | OpenTelemetry | Python