Spark / Data Lakehouse Developer

Technologie, których używamy

O projekcie

Tak organizujemy naszą pracę

Tak pracujemy

Twój zakres obowiązków

• Tworzenie potoków PySpark/Spark-SQL porównujących dane ODS (MongoDB) ze źródłami oraz wdrożenie automatycznych testów jakości, wykrywania anomalii i alertów
• Integracja Spark + MongoDB, otymalizacja wymiany danych (read/write, schema inference, partitioning, push-down zapytań $match)
• Budowa i wersjonowanie wielowarstwowej struktury danych (Raw → Bronze → Silver → Gold) z wykorzystaniem Apache Iceberg / Delta Lake / Hudi.
• Strojenie jobów Spark (AQE, broadcast joins, caching) w celu przyspieszenia przetwarzania i redukcji kosztów
• Automatyzacja wdrożeń (Docker, Kubernetes, Spark Operator, Jenkins CI/CD) oraz konfiguracja monitoringu procesów (Prometheus, Grafana, OpenTelemetry, Dynatrace)
• Udział w pracach zespołu (Scrum/Kanban), code-review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej i run-booków

Nasze wymagania

• 4+ lat doświadczenia w budowaniu i wdrażaniu rozwiązań Big Data na środowiskach produkcyjnych
• Biegła znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming
• Doświadczenie w integracji Sparka z MongoDB (MongoDB Spark Connector), praktyczna znajomość modelowania dokumentowego i strategii indeksowania
• Praktyczne doświadczenie w zarządzaniu tabelami wersjonowanymi przy użyciu Apache Iceberg (optymalizacja zapisów, operacje MERGE/UPSERT)
• Znajomość narzędzia Jenkins do automatyzacji budowania, testowania (Spark-unit, testy integracyjne) i wdrażania aplikacji Spark
• Znajomość stosu Prometheus + Grafana pod kątem śledzenia pracy procesów przetwarzania danych
• Praca w zwinnych metodologiach (Scrum / Kanban) z wykorzystaniem narzędzi Jira / Confluence

To oferujemy

• Długofalowa współpraca oparta o nasze wartości: edukacja, partnerstwo i odpowiedzialność,
• Praca w projektach dedykowanych dla największych marek na świecie z sektora finansowego i telekomunikacyjnego,
• Możliwość wymiany doświadczeń w międzynarodowych środowisku i rozwoju w projektach realizowanych w Polsce, lub innych krajach: Słowacja, Czechy, Bułgaria,
• Praca w nowoczesnym środowisku z innowacyjnymi technologiami,
• Elastyczne godziny pracy,
• Prywatna opiekę medyczną,
• Karta Multisport lub My Cafeteria,
• Ubezpieczenie na życie,
• NATEK loyalty Club,
• Możliwość dołączenia do społeczności odpowiedzialnej społecznie i uczestniczenia w inicjatywach firmowych.

Tak pracujemy nad projektem

Benefity