Azure DataBricks Engineer

Dla klienta z USA poszukujemy Azure DataBricks Engineerów. Prace dotyczą migracji, zbierania danych i optymalizacji rozwiązań opartych na Databricks. Klient posiada stałe zapotrzebowanie na specjalistów. Projekty są przeważnie krótkoterminowe, z dużym prawdopodobieństwem przedłużeń; dzięki stałości zapotrzebowania może proponować nowe tematy po zakończeniu projektu.

Klient realizuje projekty głównie dla branży medycznej i finansowej, ale nie zamyka się na inne branże. Współpracowaliśmy już przy platformach do analizy danych z urządzeń medycznych, migracjach danych z platform takich jak JDE Job Master File i Yellowbrick oraz platformach usprawniających analizę krytycznych danych finansowych.

Projekty przede wszystkim dla firm z USA, ale zwykle wymagają niewielkiej zakładki godzinowej (np. do godziny 18:00).

Codzienne zadania

• Projektowanie, wdrażanie i utrzymanie skalowalnych Data Lakehouse w Databricks i Delta Lake według Bronze/Silver/Gold
• Tworzenie i optymalizacja pipeline’ów ETL/ELT w PySpark i DLT, dla przetwarzania batchowego oraz strumieniowego
• Udział w migracjach, np. Yellow
• Brick → Databricks
• Refaktoryzacja logiki SSIS i Boomi do rozwiązań Spark/Python
• Wdrażanie governance i bezpieczeństwa: Unity Catalog, RBAC oraz Terraform
• Monitoring, tuning wydajności i automatyzacja pod SLA, w tym czterogodzinne okno odświeżania danych
• Współpraca z Data Scientistami, Data Engineerami i Architektami
• Udział w doborze narzędzi oraz integracjach ze Smartsheet i SailPointWymagania8+ lat doświadczenia jako Data Engineer lub w rolach pokrewnych, w tym w projektach transformacyjnych i migracyjnych
• Minimum 3–4 lata doświadczenia z Databricks i Apache Spark: klastry, workspaces, bezpieczeństwo, migracje, ETL, integracje, PySpark i optymalizacja zapytań
• Bardzo dobra znajomość Pythona
• Delta Lake oraz Unity Catalog lub podobne rozwiązania governance
• Delta Live Tables lub podobne narzędzia
• Doświadczenie w Azure, np. Data Factory, Synapse, Logic Apps i Data Lake, i/lub AWS, np. Redshift, Athena i GlueSQL: projektowanie schematów, optymalizacja zapytań i implementacja logiki biznesowej
• Samodzielność i inicjatywa
• Angielski umożliwiający swobodną komunikację w zespole
• Mile widziane
• Yellow
• Brick, SSIS, Boomi lub inne systemy legacy
• Terraform albo PulumiDBT, SSIS, Time
• Xtender lub podobne narzędzia ETL/ELT