Data Engineer (energy)

Data Engineer odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP). Branża energetyczna. Okazjonalne wizyty w biurze w Warszawie. Wymagania

Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer− Bardzo dobre umiejętności komunikacyjne oraz organizacyjne.− Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi.− Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym.− Gotowość do okazjonalnych wizyt w biurze klienta w Warszawie.

Kompetencje techniczne− Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics:− BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.− Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.− Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.− Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DA

Gami do orkiestracji złożonych przepływów danych, monitorowanie zadań.− Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).− Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.− Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej.− Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.

Języki Programowania− Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas).− SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych.

Bazy Danych:− MySQL: Zrozumienie relacyjnych baz danych, optymalizacja zapytań, praca z danymi transakcyjnymi (CSZZ).− PostgreSQL, MS SQL Server: Znajomość tych baz danych jako źródeł danych.

Koncepcje i Metodologie:− Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury.− ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.− Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).− Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania.− Wersjonowanie Danych (Data Versioning): Zrozumienie technik wersjonowania schematów i danych.

Narzędzia i Procesy Deweloperskie:− Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests).− CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).− Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging.