Spark / Data Lakehouse Developer

ALGOTEQUE SERVICES Show all offers

Wrocław

Expires Nov 6, 2026

6 days ago

In short

Spark/Data Lakehouse Developer needed for data reconciliation and Data Lakehouse solutions. Requires 4+ years of Apache Spark, PySpark, Spark SQL, MongoDB, and Apache Iceberg experience. Remote work with monthly office meetings in Wrocław. B2B contract.

Keywords

Apache Spark PySpark Spark SQL Data Lakehouse MongoDB Apache Iceberg CI/CD Prometheus Grafana Scrum

AI-written summary based on the listing content.

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Dla naszego Klienta poszukujemy doświadczonego Spark / Data Lakehouse Developera do projektu związanego z budową i rozwojem rozwiązań Data Lakehouse oraz rekonsyliacją danych w warstwie ODS.

Zakres współpracy- Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark-SQL / PySpark.- Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych.- Integracja Spark z MongoDB i optymalizacja procesów odczytu/zapisu.- Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse.- Praca z Apache Iceberg oraz wersjonowaniem i migracją danych.- Optymalizacja wydajności i kosztów przetwarzania danych w Spark.- Konfiguracja monitoringu i observability procesów danych.- Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD.- Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej.- Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach.

Wymagania- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym.- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.- Doświadczenie z MongoDB oraz MongoDB Spark Connector.- Praktyczna znajomość Apache Iceberg.- Znajomość Python i Spark SQL.- Doświadczenie z Jenkins i procesami CI/CD dla aplikacji Spark.- Znajomość Prometheus i Grafana.- Doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira/Confluence.

Warunki współpracy- Forma współpracy: B2B- Lokalizacja: Wrocław / zdalnie (przewidziane są spotkania projektowe w biurze raz w miesiącu).