Azure Data Engineer with Databricks

Awareson Sp. z o.o. Zobacz wszystkie oferty

110 - 130 PLN / godzinę

Warszawa

6 dni temu

W skrócie

Azure Data Engineer with Databricks needed for a long-term Life Sciences project. Responsibilities include designing, developing, and maintaining data processing solutions on Azure, using Databricks, Azure Data Factory, and Data Lakehouse architectures. Remote with occasional Warsaw office visits.

Słowa kluczowe

Azure Databricks Data Factory Data Lakehouse SQL PySpark Python ETL/ELT DevOps CI/CD

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Poszukujemy doświadczonej osoby na stanowisko Azure Data Engineer with Databricks, która dołączy do długoterminowego projektu realizowanego dla klienta z branży Life Sciences.

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój i utrzymanie skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure, ze szczególnym uwzględnieniem Databricks, Azure Data Factory oraz nowoczesnych architektur Data Lakehouse.

Stawka: 110-130 PLN/hLokalizacja: 100% praca zdalna + 1 wizyta miesięcznie w biurze w Warszawie

Długość projektu: Długoterminowy
Zakres obowiązków
Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania dużych zbiorów danych, zarówno strukturalnych, jak i niestrukturalnych.

Projektowanie, budowa i utrzymanie wydajnych potoków danych integrujących informacje z różnych źródeł, w tym baz danych, API oraz platform strumieniowych.

Rozwój rozwiązań opartych na Azure Databricks i Azure Data Factory.

Współpraca z zespołami Data Engineering, Data Science, architektami chmurowymi oraz innymi interesariuszami w celu dostarczania kompleksowych rozwiązań danych.

Udział w kluczowych etapach realizacji projektu, we współpracy z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami oraz Product Ownerami.

Dokumentowanie rozwiązań technicznych oraz uwzględnianie wydajności, skalowalności i kosztów w podejmowanych decyzjach architektonicznych.

Wspieranie procesów CI/CD i wdrażanie dobrych praktyk DevOps w obszarze przetwarzania danych.

Wymagania

Doświadczenie w Azure Data Engineering, pracy z Databricks i Azure Data Factory.

Bardzo dobra znajomość SQL, PySpark, Python oraz ETL/ELT.

Znajomość modelowania danych (3NF, Star/Snowflake).

Praktyczna znajomość Databricks: Unity Catalog, MLflow, Jobs i Pipelines.

Znajomość architektury Data Lakehouse, Medallion oraz integracji API.

Doświadczenie w CI/CD i DevOps (Git, Azure DevOps).

Znajomość integracji z narzędziami analitycznymi, np. Power BI.

Dobre umiejętności komunikacyjne i doświadczenie we współpracy z klientem oraz zespołami interdyscyplinarnymi.

Mile widziane: znajomość AWS lub GCP.