Data Engineer / Senior Data Engineer

Dla jednej z największych instytucji finansowych w Polsce, działającej w branży ubezpieczeniowej, poszukujemy Data Engineera / Senior Data Engineera do pracy przy projektowaniu, rozwijaniu i optymalizacji procesów przetwarzania danych w środowisku Microsoft Fabric.

Wymagania

Minimum 3 lata doświadczenia na stanowisku Data Engineera w projektach produkcyjnych.

Bardzo dobra znajomość Pythona, w tym PySpark, oraz SQL pozwalająca na sprawną pracę z dużymi zbiorami danych.

Praktyczne doświadczenie z co najmniej jedną platformą chmurową do przetwarzania danych: Microsoft Fabric, Azure Synapse lub Databricks.

Znajomość warstwowej architektury danych, np. architektury medalionowej, oraz formatów Delta i Parquet.

Doświadczenie w zespołowej pracy z wykorzystaniem Git.

Umiejętność integrowania różnorodnych źródeł danych, w tym plików Excel dostarczanych przez użytkowników biznesowych.

Gotowość do podpisania NDA oraz przejścia weryfikacji bezpieczeństwa.

Mile widziane

Certyfikat DP-600 lub DP-700.

Doświadczenie w sektorze ubezpieczeniowym, finansowym lub innym środowisku o wysokich wymaganiach audytowych.

Znajomość języka R – model wykorzystuje Python i R.

Praktyczne doświadczenie z CI/CD dla platform danych.

Znajomość frameworków służących do kontroli jakości danych.

Doświadczenie w pracy zgodnej z metodykami Agile i Scrum.

Obowiązki

Projektowanie i implementowanie pipeline’ów w Data Factory oraz notebooków PySpark w Microsoft Fabric.

Podłączanie źródeł plikowych i bazodanowych, wraz z ich walidacją techniczną i standaryzacją formatów.

Transformowanie danych oraz przygotowywanie danych wsadowych.

Implementowanie reguł kontroli jakości danych i mechanizmów raportowania błędów.

Wersjonowanie zestawów danych oraz zapisywanie metadanych przebiegu, takich jak parametry, źródła i wersje.

Praca zgodnie ze standardami Git: przechowywanie kodu pipeline’ów w repozytorium, wdrożenia przez CI/CD oraz udział w code review.

Współpraca z Zespołem Ryzyka przy definiowaniu reguł przekształcania danych.

Zapewnienie zgodności z regulacjami dotyczącymi prywatności i bezpieczeństwa danych.

Integracja firmowych standardów bezpieczeństwa ze środowiskiem Azure.

Optymalizowanie procesów pod kątem wydajności i kosztów.

Oferujemy

Długofalową współpracę na kontrakcie B2BKartę Multisport oraz prywatny pakiet medyczny LuxMed

Model hybrydowy: 1 dzień w tygodniu w biurze i 4 dni zdalnie.

Elastyczne godziny pracy

Proces rekrutacji HR interview - 20 minut

Rozmowa z Delivery Managerem - 60 minut