Data Engineer (Data Analytics) | Branża finansowa

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Projektowanie i rozwój pipeline’ów danych: Budowa oraz wdrażanie wydajnych procesów do pozyskiwania, przetwarzania i składowania danych na różnych platformach
• Integracja danych: Łączenie danych z wielu źródeł, w tym środowisk chmurowych (Google Cloud), baz danych (SQL/NoSQL), API oraz systemów zewnętrznych
• Optymalizacja przepływów danych: Analiza, diagnozowanie oraz usprawnianie istniejących pipeline’ów w celu zwiększenia ich wydajności i niezawodności
• Transformacja danych (ETL): Implementacja procesów Extract, Transform, Load, przekształcających dane surowe w ustrukturyzowane i gotowe do analiz oraz raportowania
• Współpraca międzyzespołowa: Ścisła współpraca z zespołami data engineering i operations w celu identyfikacji potrzeb biznesowych i wdrażania odpowiednich rozwiązań; wsparcie aplikacji również poza standardowymi godzinami pracy, w razie potrzeby
• Automatyzacja i skalowalność: Projektowanie skalowalnych i zautomatyzowanych workflow umożliwiających obsługę dużych wolumenów danych przy zachowaniu wysokiej dostępności i niskich opóźnień
• Monitoring i utrzymanie: Tworzenie oraz konfiguracja systemów monitoringu i alertowania w celu zapewnienia ciągłości działania i optymalnej wydajności pipeline’ów
• Dokumentacja techniczna: Sporządzanie i aktualizacja dokumentacji dotyczącej architektury przepływów danych, konfiguracji pipeline’ów oraz logiki przetwarzania, wspierającej utrzymanie i transparentność rozwiązań

Nasze wymagania

• Co najmniej 4 lata doświadczenia zawodowego na stanowisku Dataflow Engineer, Data Engineer lub pokrewnym, obejmującego pracę z dużymi wolumenami danych oraz systemami rozproszonymi
• Bardzo dobra znajomość języków programowania, w szczególności Python lub Java
• Praktyczne doświadczenie w projektowaniu i orkiestracji pipeline’ów danych (np. z wykorzystaniem Google Dataflow)
• Doświadczenie w pracy z chmurowymi platformami danych, zwłaszcza Google Cloud (BigQuery, Dataflow)
• Ugruntowana wiedza i praktyka w zakresie narzędzi oraz frameworków ETL, w tym przetwarzania wsadowego i strumieniowego w czasie rzeczywistym
• Znajomość popularnych formatów danych, takich jak JSON, Parquet i podobnych
• Doświadczenie w pracy z bazami danych SQL i NoSQL oraz znajomość dobrych praktyk w obszarze zarządzania danymi, zapewnienia jakości danych i bezpieczeństwa

Tak pracujemy nad projektem

To oferujemy

• Zyskujesz indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o Twój komfort i satysfakcję z pracy w projekcie
• Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych
• SmartChange – umożliwiamy zmianę projektu i dobieramy kolejny zgodnie z Twoimi preferencjami
• Dbamy o Twój work-life balance, dlatego poza pracą oferujemy wyjścia integracyjne, aktywności sportowe i inspirujące webinary #edge1talks, które rozwijają i łączą ludzi
• Aktywność fizyczna – wspieramy sportowe inicjatywy i wynajem sal treningowych
• Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne (HearMe)
• Elastyczne benefity – sam decydujesz, na co przeznaczasz punkty w naszym systemie benefitowym
• Bezpłatne lekcje języka angielskiego – dopasowane do Twojego poziomu, idealne do pracy w międzynarodowym środowisku

Benefity

Nie spełniasz wszystkich wymagań, a projekt Cię zainteresował?