Big Data Engineer (energy)

About the projectDla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).

Our expectations

Znajomość Google Cloud Platform: kluczowych usług Data & Analytics

Znajomość BigQuery: wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.

Znajomość Pythona, w tym bibliotek do przetwarzania danych (Pandas).

Znajomość SQL, MySQL, PostgreSQL, MS SQL Server

Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.

Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.

Tworzenie i zarządzanie DA

Gami do orkiestracji złożonych przepływów danych, monitorowanie zadań.

Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.

Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).

Praca z systemami kolejkowania komunikatów do integracji strumieniowej.

Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.

Doświadczenie w implementacji i utrzymaniu architektury medalionowej.

Znajomość systemów kontroli wersji Git (strategie branchingu, Pull Requests).

Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).

Swobodna komunikacja w Językach polskim i angielski (min. poziom B2)

Gotowść do okazjonalnej pracy z biura klienta w Warszawie (1-2 razy w miesiącu)