Spark / Data Lakehouse Developer (m/k/n)

B2Bnetwork Усі вакансії

Wrocław

9 днів тому

Коротко

Spark / Data Lakehouse Developer (m/k/n) in Wrocław. Responsibilities include designing and implementing Spark SQL/PySpark processes, data reconciliation, building data quality rules, developing Data Lakehouse layers, and CI/CD. Requires 4+ years of Apache Spark experience, PySpark, Spark SQL, DataFrames, Apache Iceberg, MongoDB, Jenkins, Prometheus, and Grafana. Work mode: Hybrid.

Ключові слова

spark pyspark spark sql apache iceberg mongodb data lakehouse ci/cd jenkins prometheus grafana

Стислий виклад підготував ШІ на основі тексту оголошення.

O projekcie

Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe.

Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości.

Twój zakres obowiązków

Projektowanie i implementacja procesów w Spark SQL / PySpark
Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
Integracja Apache Spark z Mongo
DBBudowa i rozwój warstw Data Lakehouse
Optymalizacja wydajności procesów Spark
Rozwój CI/CD dla aplikacji i procesów danych
Monitoring procesów oraz diagnozowanie problemów produkcyjnych
Tworzenie dokumentacji technicznej i udział w code review
Nasze wymagania
Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
Bardzo dobra znajomość PySpark, Spark SQL, Data
Frames
Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge
Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany
Znajomość Python / PySpark
Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
Doświadczenie z Jenkins
Znajomość Prometheus i Grafana
Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence