Spark / Data Lakehouse Developer (k/m/x)

B2Bnetwork Усі вакансії

Wrocław

Діє до 1 гру 2026

6 днів тому

Коротко

Spark/Data Lakehouse Developer needed for modern data platform development. Responsibilities include data processing, Data Lakehouse building, MongoDB integration, performance optimization, and CI/CD. Requires 4+ years of Apache Spark experience, PySpark, Spark SQL, MongoDB, Apache Iceberg, Python, Jenkins, Prometheus, Grafana, and Scrum/Kanban.

Ключові слова

Apache Spark Data Lakehouse PySpark Spark SQL MongoDB Apache Iceberg Python Jenkins Prometheus Grafana

Стислий виклад підготував ШІ на основі тексту оголошення.

Poszukujemy osoby z doświadczeniem w obszarze Apache Spark i Data Lakehouse, która dołączy do zespołu rozwijającego nowoczesną platformę danych. Rola obejmuje projektowanie i rozwój procesów przetwarzania oraz jakości danych, budowę warstw Data Lakehouse, integrację z MongoDB, optymalizację wydajności oraz monitoring rozwiązań działających w środowisku produkcyjnym.

Zakres obowiązków

Projektowanie i implementacja procesów przetwarzania oraz rekoncyliacji danych w Apache Spark
Tworzenie rozwiązań w PySpark i Spark SQL oraz reguł jakości danych
Integracja procesów Spark z MongoDB
Budowa i rozwój warstw Data Lakehouse w oparciu o Apache Iceberg
Optymalizacja wydajności procesów i zapytań Spark
Rozwój mechanizmów CI/CD oraz automatyzacja wdrożeń
Monitoring procesów przetwarzania danych i diagnozowanie problemów produkcyjnych
Współpraca z zespołami technicznymi oraz udział w code review

Wymagania

Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames, Structured Streaming
Doświadczenie z MongoDB i MongoDB Spark Connector
Praktyczna znajomość Apache Iceberg, w tym tabel wersjonowanych oraz operacji upsert/merge
Znajomość Python
Doświadczenie z Jenkins
Znajomość Prometheus i Grafana
Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence