Senior Data Engineer

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?

Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią. Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków. Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom. Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Senior Data Engineer (Branża Travel & Cruise)

Informacje podstawowe

Rola: Senior Data Engineer

Branża klienta: Turystyka morska i rejsy wycieczkowe - skala globalna, zarządzanie rozbudowaną flotą i dużymi wolumenami danych.

Stawka: 100 – 140 PLN/h netto B2BStart: ASAP

Długość kontraktu: Długoterminowy (Long-term)

Lokalizacja: Zdalnie (Global)

Język: Język angielski na poziomie minimum B2+ / C1 (praca w środowisku międzynarodowym)

Profil projektu i cele

Projekt realizowany dla globalnego lidera branży wycieczkowej, operującego flotą statków na całym świecie. Rola polega na projektowaniu, rozbudowie i optymalizacji skalowalnej platformy danych opartej o chmurę Azure, ze szczególnym naciskiem na architekturę Lakehouse oraz ekosystem Databricks. Inżynier będzie wspierał procesy operacyjne floty, logistykę, finanse, analitykę zarządczą oraz inicjatywy AI/ML.

Kluczowe obowiązki

Projektowanie platformy Azure Lakehouse: Rozwój i utrzymanie skalowalnych rozwiązań danych w środowiskach Azure Databricks, Azure Synapse Analytics i Data Lake.

Potoki ETL/ELT: Implementacja wydajnych potoków przetwarzania danych (batch oraz streaming) z wielu domen biznesowych przy użyciu Pythona, SQL i Apache Spark.

Modernizacja i migracje platformowe: Wdrażanie i standaryzacja Unity Catalog, podnoszenie wersji komponentów platformy oraz wsparcie transformacji w stronę architektury Data Lakehouse.

Databricks Workflows i DLT: Budowa i utrzymanie przepływów orkiestracji Databricks Workflows, Delta Live Tables (DLT) oraz frameworków sterowanych metadanymi (metadata-driven).

Niezawodność i jakość danych: Zapewnienie poprawności, spójności i bezpieczeństwa danych, optymalizacja struktur magazynowania oraz rozwiązywanie incydentów produkcyjnych (root cause analysis).

Optymalizacja wydajności i kosztów (FinOps): Optymalizacja zużycia zasobów obliczeniowych Spark, optymalizacja zapytań SQL i zarządzanie kosztami infrastruktury chmurowej.

Automatyzacja i CI/CD: Współtworzenie potoków CI/CD w Azure DevOps, automatyzacja infrastruktury (IaC), monitorowanie i logowanie metryk systemowych.

Współpraca i mentoring: Ścisła współpraca z architektami danych, analitykami i zespołami biznesowymi; promowanie dobrych praktyk inżynierii oprogramowania w zespole danych.

Wymagania techniczne

Bardzo dobra znajomość Apache Spark oraz architektury Lakehouse.

Zaawansowana biegłość w językach Python i SQL.

Doświadczenie z chmurą Microsoft Azure: Azure Databricks, Azure Data Factory (ADF), Azure Data Lake Storage (ADLS Gen2).

Praktyczne doświadczenie z Delta Live Tables (DLT) oraz Unity Catalog.

Znajomość Azure Synapse Analytics lub Azure Data Explorer.

Praktyka w budowie i utrzymaniu procesów CI/CD (Azure DevOps, Git).

Doświadczenie z automatyzacją infrastruktury, monitorowaniem i audytem logów.

Podstawowa znajomość warstwy raportowej (Power BI) pod kątem udostępniania i konsumpcji modeli danych.