Azure Data Engineer

Opis firmy

Naszą misją jako firmy świadczącej usługi IT jest dostarczanie najlepszych rozwiązań naszym klientom na całym świecie. Osiągamy to poprzez analizowanie potrzeb naszych klientów i dopasowywanie ich do umiejętności i aspiracji naszych pracowników. Dlatego jedną z naszych głównych motywacji jest zapewnienie każdemu Pracownikowi i Konsultantowi satysfakcjonującego doświadczenia. Dołączenie do nas oznacza bycie częścią społeczności o różnorodnych osobowościach. Rozpocznij swoją przygodę z act digital!

Opis projektu

Poszukujemy Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Azure.

Zadania

• Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania danych ustrukturyzowanych oraz nieustrukturyzowanych.
• Tworzenie i utrzymywanie pipeline’ów danych integrujących informacje z baz danych, API oraz platform przetwarzania strumieniowego.
• Rozwój procesów ETL/ELT z wykorzystaniem Azure Data Factory i Databricks.
• Współpraca z inżynierami danych, specjalistami Data Science oraz architektami chmurowymi.
• Współpraca z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami i Product Ownerami na kluczowych etapach projektu.
• Wdrażanie dobrych praktyk CI/CD i DevOps w procesach przetwarzania danych.
• Integracja platformy danych z narzędziami analitycznymi, takimi jak Power BI.

Wymagania

• Praktyczne doświadczenie w rozwiązaniach opartych na architekturze Data Lake.
• Doświadczenie w przetwarzaniu i przepływie danych z wykorzystaniem Databricks oraz Azure Data Factory.
• Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure.
• Biegła znajomość SQL i PySpark.
• Umiejętność modelowania danych oraz projektowania procesów ETL/ELT.
• Doświadczenie w programowaniu w Pythonie lub podobnym języku skryptowym, wykorzystywanym do transformacji danych, orkiestracji i automatyzacji.
• Praktyczna wiedza z zakresu zaawansowanych funkcjonalności Databricks, w tym Unity Catalog, MLflow, Jobs i Pipelines.
• Rozumienie architektury danych w chmurze, w szczególności Data Lakehouse, Medallion Architecture, integracji API i architektury event-driven.
• Doświadczenie w stosowaniu CI/CD i DevOps, w tym Git oraz Azure DevOps.
• Umiejętność współpracy w zespołach interdyscyplinarnych.
• Język angielski na poziomie minimum B2.

Mile widziane

• Doświadczenie w pracy z chmurami AWS lub GCP.
• Praktyka w integracji platform danych z narzędziami analitycznymi, np. Power BI.

Dodatkowe informacje

• Kontrakt: B2B
• Stawka: do 140 PLN/h net + vat

Oferujemy

• Dostęp do lokalnych i międzynarodowych projektów - Klienci z Francji, Niemiec, Portugalii, Wielkiej Brytanii i krajów Beneluksu.
• Wsparcie w rozwoju zawodowym - szkolenia, certyfikaty techniczne, udział w konferencjach, lektoraty języków obcych i szkolenia miękkie dofinansowane do 2 000zł.
• Elastyczność - sam wybierasz formę współpracy: umowa o pracę lub umowa business-to-business.
• Premia za polecanie Kandydatów do 6 000zł.
• W pełni opłacona karta Medicover.
• Karta Multisport.
• Regularne imprezy integracyjne i upominki.
• Program Mobilny.
• Długoterminową współpracę.