AWS Data Engineer

Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.

Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.

Obecnie dla naszego klienta poszukujemy osoby na stanowisko AWS Data Engineer.

Zakres obowiązków:

Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów.

Tworzenie i utrzymywanie ELT pipeline ze środowisk źródłowych (Cloudera/MinIO) do Amazon S3 i Amazon Redshift.

Budowa i utrzymywanie warstw Data Warehousing, w tym Staging, Intermediate, Business View oraz Dimensional Models.

Implementacja tabel faktów (Transactional, Accumulating Snapshot, Periodic Snapshot) oraz Type 1 & Type 2 Slowly Changing Dimensions w oparciu o ustalone modele danych.

Tworzenie transformacji danych z wykorzystaniem dbt oraz orkiestracja przepływów pracy przy użyciu Apache Airflow.

Pisanie, optymalizacja i rozwiązywanie problemów z zapytaniami SQL (w tym inner, self oraz outer joins).

Praca z Amazon Redshift w zakresie ładowania danych, transformacji i optymalizacji wydajności.

Zarządzanie i przetwarzanie danych przechowywanych w Amazon S3 oraz tabelach Apache Iceberg na platformie MinIO.

Wsparcie migracji data pipeline z platformy Cloudera na platformę MinIO.

Współpraca z architektami, modelerami danych oraz zespołami biznesowymi w celu dostarczania niezawodnych i wysokiej jakości rozwiązań z obszaru danych.

Oczekujemy:

Praktycznego doświadczenia w pracy z Amazon S3 oraz Amazon Redshift.

Biegłości w wykorzystywaniu dbt oraz Apache Airflow.

Zaawansowanej znajomości SQL (w tym Inner, Self, Left, Right i Full Outer Joins).

Solidnego zrozumienia koncepcji Data Warehousing.

Praktyki w implementacji tabel typu Fact oraz Dimension.

Znajomości Type 1 & Type 2 Slowly Changing Dimensions.

Praktycznej wiedzy z zakresu Kimball Dimensional Modeling.

Znajomości technologii: Cloudera, MinIO oraz Apache Iceberg.

Udokumentowanego doświadczenia w projektowaniu i rozwoju ELT oraz data pipeline.

Znajomości języka angielskiego na poziomie B2 lub C1 - umożliwiająca swobodną komunikację w międzynarodowym środowisku.

Mile widziana jest dostępność ASAP, akceptowalny jest maksymalnie miesięczny okres wypowiedzenia, ze skutkiem na koniec miesiąca.

Oferujemy:

Długofalowa współpraca z wynagrodzeniem w przedziale 130-140 PLN netto/godz. + VAT.

Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia. Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie). Współpraca w pełni zdalna.

Benefity - prywatna opieka medyczna, karta Multisport. Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.