Senior Data Engineer

Senior Data Engineer (Databricks & Snowflake)Lokalizacja: zdalnieForma współpracy: kontrakt B2BCzas trwania: 3 miesiące (z możliwością przedłużenia)Start: ASAPO kliencieNasz klient to dynamicznie rozwijająca się firma z obszaru data analytics i data-as-a-service, specjalizująca się w przetwarzaniu dużych wolumenów danych rynkowych dla klientów z branży finansowej. Organizacja rozwija nowoczesną platformę danych opartą o Databricks, Snowflake, AWS i Delta Lake.Projekt 1: Data Migration & Data Sharing (Databricks + Delta Sharing)Migracja wielopetabajtowych zbiorów danych z istniejącego środowiska (Parquet / Snowflake) do Databricks na AWS (S3).Implementacja i optymalizacja danych w formacie Delta Lake w celu umożliwienia Delta Sharing.Weryfikacja i optymalizacja strategii platformy danych oraz roadmapy technologicznej (Databricks, Snowflake, Delta Lake).Projekt 2: Internal Data Reporting (Power BI + Snowflake)Konsolidacja danych biznesowych (HubSpot, system księgowy, Jira) w Snowflake.Przygotowanie i modelowanie danych pod centralny dashboard Power BI dla interesariuszy biznesowych (deadline: koniec Q1).Projekt skoncentrowany na hands-on data engineering, SQL i integracjach danych.Zakres obowiązkówAktywny, hands-on udział w migracji wielopetabajtowych danych z Snowflake/Parquet do Databricks na AWS (S3).Projektowanie i wdrażanie struktur danych w Delta Lake pod kątem wydajnego i bezpiecznego udostępniania danych.Współtworzenie architektury Modern Data Warehouse / Data Lakehouse, w tym najlepszych praktyk dotyczących partycjonowania, wydajności i governance.Konsultowanie, walidowanie i – tam gdzie potrzebne – kwestionowanie obecnej roadmapy technologicznej.Ścisła współpraca z zespołem danych w zakresie transferu wiedzy, adopcji best practices oraz usuwania bottlenecków technicznych.Okazjonalne wsparcie projektu raportowego (Snowflake + Power BI) — nie jako główny zakres odpowiedzialności.Wymagania techniczneKomercyjne doświadczenie z Palantir - Must haveBardzo duże, produkcyjne doświadczenie z Databricks na AWS, w tym:Delta LakeDelta Sharingoptymalizacja pipeline’ów ETL/ELTorkiestracja i tuning wydajności (AWS + S3)Produkcyjne doświadczenie z Snowflake, w tym migracje danych, modelowanie oraz integracje cross-platformowe.Doświadczenie w pracy z bardzo dużymi wolumenami danych (PB-scale) oraz formatem Parquet i konwersją do Delta Lake.Doświadczenie w projektowaniu architektur umożliwiających szybkie, wydajne i bezpieczne udostępnianie danych.Udział w projektach migracyjnych, optymalizacyjnych oraz budowie skalowalnych pipeline’ów na AWS.Bardzo dobra znajomość SQL oraz Python lub Scala (Scala mile widziana w kontekście Databricks).Wymagania miękkie i językoweUmiejętność współpracy z zespołami technicznymi i biznesowymi.Gotowość do udziału w dyskusjach architektonicznych i proponowania alternatywnych rozwiązań.Język angielski: minimum B2+ (codzienna komunikacja, dokumentacja, spotkania).