Kafka Engineer

Jesteśmy agencją consultingową, zajmującą się wyszukiwaniem i pozyskiwaniem najlepszych talentów ✨ dla naszych klientów. Pomagamy start-upom, software house’om i przedsiębiorstwom w skalowaniu i transformacji poprzez nawiązywanie współpracy z ambitnymi inżynierami posiadającymi prawdziwą pasję do technologii.

Obecnie poszukujemy Mid/Senior Kafka Engineera do projektu z obszaru Data Platform, którego jednym z kluczowych elementów jest budowa hybrydowego środowiska Kafka, łączącego klastry on-premise oraz AWS.

Projekt jest już w fazie realizacji i obejmuje budowę rozwiązania Kafka w chmurze AWS, implementację mechanizmów replikacji danych pomiędzy środowiskami on-premise i cloud oraz rozwój procesów CI/CD i Infrastructure-as-Code. W środowisku wykorzystywane są m.in. Apache Kafka, Confluent Platform, Confluent Cloud, AWS MSK, EKS, Terraform, Ansible, Prometheus i Grafana.

Poszukujemy doświadczonej osoby, która bardzo dobrze rozumie architekturę Kafka i potrafi samodzielnie projektować oraz rozwijać złożone środowiska hybrydowe. Ważne będzie zarówno doświadczenie infrastrukturalne i automatyzacyjne, jak i znajomość mechanizmów replikacji, bezpieczeństwa, monitoringu oraz optymalizacji wydajności. Rola zakłada również współpracę z Data Engineerami, DevOpsami i zespołami Security oraz dzielenie się wiedzą z mniej doświadczonymi członkami zespołu.🔷 Co będzie należało do Twoich głównych zadań?

Projektowanie hybrydowej topologii Apache Kafka on-premise ↔ AWS

• Budowa i rozwój rozwiązania Kafka w środowisku AWS
• Tworzenie i konfiguracja klastrów Kafka, AWS MSK oraz Confluent CloudDobór i konfiguracja komponentów Confluent Platform, m.in. Schema Registry, Flink, Control Center oraz Tableflow
• Implementacja mechanizmów replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Zapewnianie spójności danych oraz niskich opóźnień podczas transferu danych pomiędzy środowiskami
• Projektowanie oraz rozwój pipeline’ów CI/CD dla wdrożeń Kafka, schematów oraz aplikacji konsumenckich
• Implementacja i rozwój Infrastructure-as-Code w Terraform, w tym wersjonowanie, testowanie planów oraz automatyzacja wdrożeń
• Automatyzacja procesów konfiguracyjnych z wykorzystaniem Ansible
• Implementacja i rozwój monitoringu z wykorzystaniem Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Automatyzacja testów integracyjnych dla środowiska Kafka
• Tworzenie i utrzymywanie runbooków, alertów oraz SLA/SLO
• Rozwiązywanie incydentów pojawiających się podczas budowy rozwiązania
• Optymalizacja wydajności oraz tuning konfiguracji Kafka
• Współpraca w ramach zespołu Data Platform z Data Engineerami, DevOpsami oraz specjalistami Security
• Mentoring mniej doświadczonych członków zespołu oraz prowadzenie warsztatów technicznych🎯 Jakie skille, doświadczenie i mindset są przez nas poszukiwane?

Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka

• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud
• Doświadczenie w projektowaniu, budowaniu i utrzymywaniu środowisk hybrydowych
• Praktyczne doświadczenie w migracji i replikacji klastrów z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Praktyczna znajomość usług AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS oraz Secrets Manager
• Doświadczenie z Terraform, w tym tworzeniem modułów i automatyzacją infrastruktury
• Znajomość narzędzi wspierających testowanie i bezpieczeństwo Terraform, takich jak Terratest oraz tfsec
• Praktyczna znajomość Ansible
• Doświadczenie w tworzeniu i rozwijaniu pipeline’ów GitHub Actions, GitLab CI lub Jenkins
• Doświadczenie w automatyzacji testów integracyjnych dla Kafka
• Znajomość Python i Bash
• Doświadczenie z narzędziami observability i monitoringu: Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Bardzo dobra znajomość zagadnień związanych z bezpieczeństwem: TLS, SASL, ACL, RBAC oraz szyfrowanie danych w spoczynku i tranzycie
• Doświadczenie w pracy w metodykach Scrum lub Kanban
• Znajomość Jira i Confluence
• Umiejętność samodzielnego analizowania i rozwiązywania złożonych problemów infrastrukturalnych i wydajnościowych⭐ Co możemy Ci zaoferować ?

Współpracę w oparciu o kontrakt B2BPracę zdalną z jedną wizytą w biurze we Wrocławiu w miesiącu

• Udział w rozwijanym już projekcie z obszaru Data Platform
• Pracę przy budowie hybrydowej infrastruktury Kafka on-premise ↔ AWS
• Możliwość pracy z rozbudowanym środowiskiem obejmującym Confluent Platform, Confluent Cloud oraz AWS
• Nie czekaj! Aplikuj już teraz :)