Data Engineer

Team Connect  to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów. Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne. Dla jednego z naszych klientów z branży finansowej poszukujemy osoby na stanowisko Data Engineer. Specjalista/tka dołączy do wysoko wydajnego zespołu tworzącego nowoczesne platformy danych oraz rozwiązania oparte na danych dla klientów z sektora Usług Finansowych i Bankowości Inwestycyjnej. Rola koncentruje się na budowie, integracji i utrzymaniu skalowalnych potoków danych (data pipelines) wspierających analitykę, zarządzanie ryzykiem, wymagania regulacyjne oraz procesy raportowania.

Lokalizacja: praca hybrydowa z Wrocławia/Poznania (2 razy na tydzień praca z biura)

Zakres obowiązków:

Projektowanie, rozwój i utrzymanie potoków danych ETL/ELT dla danych ustrukturyzowanych i częściowo ustrukturyzowanych.

Budowa i optymalizacja rozwiązań typu data lakehouse wspierających analitykę, raportowanie oraz wymagania regulacyjne.

Implementacja procesów pozyskiwania danych z wielu źródeł (bazy danych, API, pliki, strumienie komunikatów/zdarzeń).

Wykonywanie transformacji danych, walidacji oraz kontroli jakości w całych przepływach danych (end-to-end).

Współpraca z Analitykami Biznesowymi oraz interesariuszami w celu przełożenia wymagań biznesowych na rozwiązania danych.

Wsparcie środowisk produkcyjnych, analiza incydentów oraz udział w optymalizacji wydajności.

Zapewnienie zgodności z zasadami zarządzania danymi (data governance), bezpieczeństwa oraz standardami regulacyjnymi.

Wymagania:

Min.3–7+ lat doświadczenia jako Inżynier Danych lub na podobnym stanowisku.

Udokumentowane doświadczenie w dostarczaniu rozwiązań danych dla sektora Financial Services / Investment Banking.

Silne doświadczenie w zakresie: integracji danych, transformacji danych, modelowania danych.

Doświadczenie w pracy z platformami danych działającymi w chmurze.

Doświadczenie/Znajomość:

Programowanie i przetwarzanie danych: Python, SQL, PySpark, Platformy danych: Databricks (Delta Lake, DLT),Coud data lakes / architektury lakehouse, Chmura: Azure: ADLS (Azure Data Lake Storage), Data Factory, Synapse lub równoważne usługi chmurowe, Modelowanie danych: Architektura Medallion, Modele wymiarowe (dimensional models), Data Vault (mile widziane),Integracja: REST API, Przetwarzanie wsadowe (batch ingestion), Przetwarzanie strumieniowe (streaming ingestion),DevOps i narzędzia: Git, Pipeline’y CI/CD, Azure DevOps lub podobne narzędzi, Bardzo dobra znajomość: jakości danych, optymalizacji wydajności, skalowalności rozwiązań.