Data Engineer (K/M/N)

Opis projektu

Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP). Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi.

Zakres współpracyanaliza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GC

• Pdobór wzorców przetwarzania danych z uwzględnieniem wymagań SL
• Aprojektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataformimplementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbtintegracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danychimplementacja mechanizmów CDC (Change Data Capture)projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflowzarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesówprojektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLabautomatyzacja testowania, wdrażania i wersjonowania procesów danychdefiniowanie zasobów IaC związanych z przetwarzaniem danych, m.in. GCS, BigQuery, Cloud Composer i Dataprocmonitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty w warstwie logiki danychoptymalizacja wydajności i kosztów przetwarzania, w tym optymalizacja zapytań, partycjonowania i klastrowania w BigQueryrefaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danychimplementacja mechanizmów walidacji i kontroli jakości danychprojektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszykonfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tagszarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra IDwspółpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalogwspółpraca z zespołami infrastruktury, bezpieczeństwa i Data Governanceprzygotowywanie i aktualizacja dokumentacji technicznejprzeprowadzanie code review oraz wsparcie merytoryczne zespołów data
• Wymagania obligatoryjneminimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GC
• Ppraktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danychznajomość BigQuery, w tym modelowania danych, SQL, optymalizacji zapytań, partycjonowania i klastrowaniapraktyczna znajomość Cloud Composer / Apache Airflowznajomość Dataproc, Dataflow i Datastreamznajomość Cloud Run / Cloud Run Functionsznajomość Cloud Storage w zakresie przetwarzania danychbardzo dobra znajomość Python i SQ
• Lznajomość GitLab, w tym CI/CD i wersjonowaniaznajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danychznajomość wzorców integracji danych: batch, streaming i CD
• Cdoświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczneznajomość mechanizmów kontroli dostępu do danych w GCP, w tym IAM, authorized views, row-level i column-level security oraz policy tagsznajomość Workforce Identity Federation, w tym zasad nadawania uprawnień grupom federowanym z Microsoft Entra IDznajomość Dataplex Universal Catalog w zakresie klasyfikacji, tagowania i katalogowania danychrozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępemznajomość zagadnień integracji GCP z platformą Informatica IDM
• Cznajomość architektury multi-cloud governance, obejmującej SAP Datasphere i Azure Databrickswysokie umiejętności komunikacyjne, organizacyjne i analityczne
• Wymagania dodatkowecertyfikat Google Cloud, np. Professional Data Engineer