Data Engineer

Fabrity S.A. Show all offers

Warszawa

26 days ago

In short

Data Engineer needed for industrial/production projects. Responsibilities include client analysis, architecture design, ETL/ELT implementation (Python, Spark), and deployment. Requires experience with databases, data lakes, and ETL/ELT platforms.

Keywords

Data Engineering ETL ELT Python Apache Spark Data Lakes Databases SQL Data Warehousing

AI-written summary based on the listing content.

Poszukujemy doświadczonego Data Engineera do samodzielnej realizacji projektów budowy platform danych dla klientów przemysłowych i produkcyjnych. Osoba na tym stanowisku odpowiada za cały cykl — od analizy potrzeb u klienta, przez projekt architektury, po implementację i uruchomienie rozwiązania.

TWÓJ ZAKRES OBOWIĄZKÓW

Zbieranie i uzgadnianie wymagań bezpośrednio z klientem — z przedstawicielami biznesu oraz działów IT
Analiza systemów i źródeł danych klienta, ocena jakości danych i komunikowanie wykrytych problemów
Projektowanie architektury platform danych: warstwy surowej, hurtowni oraz systemów analitycznych
Projektowanie i implementacja modeli baz oraz hurtowni danych
Projektowanie i implementacja rozwiązań klasy data lakeBudowa procesów ETL/ELT z wykorzystaniem platform integracji danych, rozszerzanych o Python i Spark
Automatyzacja, monitoring oraz wdrożenie produkcyjne rozwiązań
Wsparcie klienta po wdrożeniu i rozwój platformy o kolejne źródła danych
NASZE WYMAGANIA
Doświadczenie w analizie wymagań, również w bezpośredniej pracy z klientem
Doświadczenie w projektowaniu i implementacji baz oraz hurtowni danych
Doświadczenie w projektowaniu i implementacji data lake'ówDoświadczenie w budowie procesów ETL/ELT z wykorzystaniem platform integracji danych
Znajomość Pythona i Apache Spark
Umiejętność samodzielnego prowadzenia zadań od analizy po wdrożenie
Komunikatywność i umiejętność tłumaczenia zagadnień technicznych osobom nietechnicznym
Gotowość do okazjonalnych wyjazdów do klienta (1–3 razy w kwartale)MILE WIDZIANE
Doświadczenie w pracy z klientami przemysłowymi lub produkcyjnymi (systemy MES, ERP, SCADA, dane z czujników)

Znajomość metodyk modelowania hurtowni danych Doświadczenie z wdrożeniami on-premise

Znajomość formatów tabelarycznych
ŚRODOWISKO TECHNOLOGICZNE
Źródła danych: Oracle, MS SQL, PostgreSQL, APIETL/ELT i orkiestracja: Apache Airflow, Apache NiFi, Apache Spark, Python
Data lake: MinIO
Baza transakcyjna: PostgreSQL