Cloud Data Architect (GCP)

Praca hybrydowa: 2x w tyg biura w Warszawie

Poszukujemy Cloud Data Architecta, który będzie odpowiedzialny za projektowanie, rozwój i wdrażanie nowoczesnych rozwiązań z obszaru Data Engineering w środowisku Google Cloud Platform (GCP).

Szukamy osoby łączącej kompetencje architektoniczne z praktycznym doświadczeniem technicznym, która potrafi projektować skalowalne rozwiązania przetwarzania danych, wspierać ich implementację oraz dbać o jakość, wydajność i niezawodność procesów danych.

Zakres obowiązków

• Projektowanie i rozwój architektury rozwiązań danych w środowisku Google Cloud Platform (GCP).
• Projektowanie i wdrażanie skalowalnych procesów ETL/ELT w architekturze batch oraz streaming.
• Projektowanie i rozwój modeli danych oraz procesów transformacji z wykorzystaniem BigQuery, dbt Core i PySpark.
• Projektowanie i utrzymywanie procesów orkiestracji danych z wykorzystaniem Apache Airflow / Cloud Composer.
• Definiowanie standardów, dobrych praktyk oraz wzorców architektonicznych w obszarze Data Engineering.
• Projektowanie mechanizmów walidacji, monitorowania i kontroli jakości danych (Data Quality).
• Współpraca z architektami, modelarzami danych oraz zespołami developerskimi przy wdrażaniu modeli i rozwiązań danych.
• Współtworzenie i rozwój frameworków oraz generatorów procesów zasileń danych.
• Nadzór nad jakością, wydajnością, skalowalnością i niezawodnością wdrażanych rozwiązań.
• Przygotowywanie i weryfikacja testów jednostkowych, integracyjnych oraz jakościowych.
• Wsparcie procesu wdrażania rozwiązań na środowiska TEST, PREPROD i PROD.
• Tworzenie i aktualizacja dokumentacji technicznej oraz architektonicznej.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering, Cloud Data Architecture lub jako GCP Developer.

• Bardzo dobra znajomość języków Python, PySpark i SQL.

• Praktyczne doświadczenie w projektowaniu i implementacji rozwiązań opartych na BigQuery oraz dbt Core.

• Doświadczenie w pracy z usługami Google Cloud Platform, w szczególności:

• Cloud Composer / Apache Airflow,

• Cloud Storage,

• Pub/Sub.

• Doświadczenie w projektowaniu i wdrażaniu procesów ETL/ELT oraz przetwarzaniu dużych zbiorów danych.

• Znajomość zagadnień związanych z architekturą platform danych i integracją różnych źródeł danych.

• Doświadczenie w pracy z GitHub, CI/CD oraz stosowaniu dobrych praktyk wytwarzania oprogramowania.

• Praktyczna znajomość testowania rozwiązań danych, w tym testów jednostkowych, integracyjnych i jakościowych.

• Umiejętność projektowania rozwiązań skalowalnych, wydajnych i łatwych w utrzymaniu.

• Znajomość języka angielskiego pozwalająca na swobodną pracę z dokumentacją techniczną.