Senior Data Platform Engineer (Kafka)

Upvanta sp. z o.o. Zobacz wszystkie oferty

Wrocław

22 dni temu

W skrócie

Senior Data Platform Engineer (Kafka) in Wrocław, PL. Build & develop event-driven data platforms using Apache Kafka. Requires 5+ years of backend/data platform experience & Java/Spring Boot. Full-time, on-site.

Słowa kluczowe

Apache Kafka Java Spring Boot Kafka Streams kSQL Kafka Connect Avro Protobuf MongoDB Prometheus

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Poszukujemy doświadczonego Senior Data Platform Engineer (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.

Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych na Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.

Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

Twój zakres obowiązkówprojektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka, budowa i rozwój mikroserwisów w Java oraz Spring Boot, implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL, projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych, implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów, rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych, automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych na Kafka Streams, wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska, diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych, optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji, współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi, udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.

Nasze wymaganiaminimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych, minimum 5 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych, bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji, praktyczne doświadczenie z Kafka Streams oraz kSQL, doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów, bardzo dobra znajomość Java oraz Spring Boot, doświadczenie w projektowaniu i budowie mikroserwisów, znajomość schematów danych Avro, Protobuf oraz JSON Schema, doświadczenie w pracy z MongoDB, praktyczna znajomość Prometheus, Grafana oraz zagadnień związanych z observability, znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych, doświadczenie w pracy w metodykach Agile (Scrum/Kanban).

Mile widzianedoświadczenie z GraphQL, znajomość Apache Iceberg, znajomość Open

Telemetry, praktyczna znajomość Python, doświadczenie w środowiskach chmurowych, doświadczenie w automatyzacji procesów DevOps i CI/CD.