Kafka Engineer

Kafka Engineer

Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:

Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).

Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).

Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .

Zakres obowiązków

Architektura i projektowanie

Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).

Dobór i konfiguracja komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow).

Budowa środowiska wTworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych

• AWS
• Replikacja i synchronizacjaCI/CD & IaCOperacje i wsparcie
• Współpraca i mentoringvzasobów.

Implementacja monitoringu (Prometheus/Grafana)

Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.

Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.

Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.

Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.

Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.

Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.

Praca w zespole Data Platform (Data Engineers, DevOps, Security).

Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.

Wymagania techniczne (must-have) Minimum 4 lata doświadczenia z Apache Kafka.

Biegła znajomość Confluent Platform (Enterprise) oraz Confluent

Kafka / Confluent Cloud.

Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).

Chmura AWS

Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets

Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).

Infrastructure-as-Code Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).

Ansible.

CI/CD Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).

Automatyzacja testów integracyjnych dla Kafki.

Programowanie / Scripting Monitoring & Observability

Python, Ansible, Bash.

Prometheus + Grafana, Confluent Control Center, Open

Telemetry, Elastic Stack.

Bezpieczeństwo Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.

Metodyki Agile Praca w Scrum / Kanban, znajomość Jira/Confluence.