Azure Data Engineer with Databricks

Poszukujemy doświadczonej osoby na stanowisko Azure Data Engineer with Databricks, która dołączy do długoterminowego projektu realizowanego dla klienta z branży Life Sciences.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure, ze szczególnym uwzględnieniem Databricks, Azure Data Factory oraz nowoczesnych architektur Data Lakehouse.

Stawka: 110-130 PLN/hLokalizacja: 100% praca zdalna + 1 wizyta miesięcznie w biurze w Warszawie

• Długość projektu: Długoterminowy
• Zakres obowiązków
• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania dużych zbiorów danych, zarówno strukturalnych, jak i niestrukturalnych.

Projektowanie, budowa i utrzymanie wydajnych potoków danych integrujących informacje z różnych źródeł, w tym baz danych, API oraz platform strumieniowych.

Rozwój rozwiązań opartych na Azure Databricks i Azure Data Factory.

Współpraca z zespołami Data Engineering, Data Science, architektami chmurowymi oraz innymi interesariuszami w celu dostarczania kompleksowych rozwiązań danych.

Udział w kluczowych etapach realizacji projektu, we współpracy z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami oraz Product Ownerami.

Dokumentowanie rozwiązań technicznych oraz uwzględnianie wydajności, skalowalności i kosztów w podejmowanych decyzjach architektonicznych.

Wspieranie procesów CI/CD i wdrażanie dobrych praktyk DevOps w obszarze przetwarzania danych.

Wymagania

Doświadczenie w Azure Data Engineering, pracy z Databricks i Azure Data Factory.

Bardzo dobra znajomość SQL, PySpark, Python oraz ETL/ELT.

Znajomość modelowania danych (3NF, Star/Snowflake).

Praktyczna znajomość Databricks: Unity Catalog, MLflow, Jobs i Pipelines.

Znajomość architektury Data Lakehouse, Medallion oraz integracji API.

Doświadczenie w CI/CD i DevOps (Git, Azure DevOps).

Znajomość integracji z narzędziami analitycznymi, np. Power BI.

Dobre umiejętności komunikacyjne i doświadczenie we współpracy z klientem oraz zespołami interdyscyplinarnymi.

Mile widziane: znajomość AWS lub GCP.

Jeśli masz doświadczenie w Azure Data Engineering i Databricks oraz szukasz długoterminowego projektu, zapraszamy do aplikowania!