Cloud Data Architect (Databricks + Snowflake)

Data Architect / Cloud Data Architect (Databricks + Snowflake)Start: ASAP.Czas trwania: 3 miesiące z możliwością przedłużenia.Tryb pracy: ZdalnieO kliencieNasz klient to dynamicznie rozwijająca się firma z obszaru data analytics i data-as-a-service, specjalizująca się w przetwarzaniu dużych wolumenów danych rynkowych dla klientów z branży finansowej. Organizacja rozwija nowoczesną platformę danych opartą o Databricks, Snowflake, AWS i Delta Lake.Zakres obowiązkówLiderowanie techniczne w procesie migracji ogromnych zbiorów danych do Databricks na AWS.Projektowanie i nadzór nad wdrożeniem formatu Delta Lake wspierającego Delta Sharing.Weryfikacja i korygowanie strategii technologicznej oraz roadmapy klienta.Projektowanie rurociągów przetwarzania danych i logiki konwersji z Parquet/Snowflake do Delta Lake.Wsparcie merytoryczne i mentoring dla wewnętrznego zespołu inżynierów danych.Współpraca przy architekturze Modern Data Warehouse oraz Data Lakehouse.Wymagania techniczneKomercyjne doświadczenie z Palantir - Must haveEkspercka wiedza z zakresu Databricks.Zaawansowane doświadczenie praktyczne w pracy z Snowflake.Biegłość we wdrażaniu i optymalizacji formatu Delta Lake na dużą skalę.Doświadczenie w projektowaniu i obsłudze procesów danych na AWS (S3).Znajomość architektur Parquet oraz Data Lake.Bardzo dobra znajomość SQL i optymalizacji zapytań.Doświadczenie w realizowaniu projektów migracji danych typu end-to-end (skala petabajtowa).Język angielski na poziomie minimum B2+. Mile widzianeDoświadczenie w doradztwie technologicznym (consulting).Znajomość Power BI w zakresie modelowania danych pod raportowanie.Doświadczenie w integracjach z systemami zewnętrznymi (HubSpot, Jira, systemy księgowe).