Zum Inhalt springen
Jetzt bewerben

Diese Anzeige läuft auf mehreren Portalen
Ideamotive

Spark / Data Lakehouse Developer

Ideamotive Alle Angebote ansehen
140 - 175 PLN
B2B
Remote
Mid
Wrocław
Läuft ab 21 Nov 2026
vor 1 Tag

Kurzfassung

Spark/Data Lakehouse Developer (B2B/Full-Time/Remote) needed for Ideamotive in Wrocław. Responsibilities include designing data reconciliation solutions with MongoDB, synchronizing data, and building Data Lakehouse layers (Delta Lake, Apache Iceberg, Hudi). Requires 4+ years of experience with Apache Spark, PySpark, Spark-SQL, MongoDB, and Apache Iceberg.

Schlüsselwörter

Apache Spark PySpark MongoDB Data Lakehouse Apache Iceberg CI/CD Prometheus Grafana Jira Confluence

Von KI erstellte Kurzfassung des Anzeigentextes.

Technologie, których używamy

O projekcie

Twój zakres obowiązków

  • Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
  • Synchronizacja danych z systemami źródłowymi.
  • Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
  • Przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (curated, silver, gold).

Nasze wymagania

  • Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Spark w środowiskach produkcyjnych.
  • Praktyczna znajomość PySpark, Spark-SQL, DataFrames oraz Structured Streaming.
  • Doświadczenie w pracy z MongoDB, w tym modelowanie dokumentowe, indeksowanie oraz użycie Spark Connector.
  • Praktyczna znajomość Apache Iceberg, zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów.
  • Znajomość narzędzi CI/CD, w szczególności Jenkins do automatyzacji wdrożeń.
  • Doświadczenie z narzędziami monitoringu takimi jak Prometheus i Grafana.
  • Znajomość metodyk zwinnych (Scrum, Kanban) oraz narzędzi Jira i Confluence.

Benefity

  • Jeśli po przeczytaniu tego ogłoszenia masz poczucie, że to rola, w której możesz realnie coś zbudować — bardzo możliwe, że właśnie Ciebie szukamy.
Veröffentlicht 2026-10-22
Quelle

Hexjobs App

Auf diese Anzeige zugeschnittene Tools.