Data Engineer

Branża: bankowość

Stawka: do 175 zł/h netto + VAT, B2BLokalizacja: Warszawa (2 razy w tygodniu z biura)

Projekt długofalowy

Czym będziesz się zajmować:

Wdrażać modele danych przygotowane przez architektów i modelarzy

• Tworzyć procesy ETL/ELT w trybie batch i streaming
• Rozwijać modele, transformacje i testy w dbt Core oraz PySpark
• Budować i utrzymywać DAG-i w Airflow / Cloud Composer
• Wdrażać mechanizmy walidacji i kontroli jakości danych
• Współtworzyć generatory i frameworki zasileń danych
• Przygotowywać testy jednostkowe, integracyjne i jakościowe
• Prowadzić dokumentację techniczną
• Wspierać wdrożenia na środowiska TEST, PREPROD i PROD
• Czego oczekujemy:3+ lat doświadczenia jako Data Engineer lub GCP Developer
• Bardzo dobrej znajomości Pythona, PySparka i SQL
• Praktycznego doświadczenia z BigQuery i dbt Core
• Doświadczenia z Cloud Composer / Airflow, Cloud Storage i Pub/Sub
• Doświadczenia w budowie procesów ETL/ELT i przetwarzaniu dużych zbiorów danych
• Znajomości GitHub, CI/CD i dobrych praktyk tworzenia oprogramowania
• Doświadczenia w przygotowywaniu testów jednostkowych, integracyjnych lub jakościowych
• Angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną
• Mile widziane:

Znajomość Dataproc lub Dataflow

• Doświadczenie w procesach streamingowych
• Znajomość Terraform i Infrastructure as Code
• Doświadczenie w obszarze Data Quality i Data Governance
• Znajomość branży finansowej lub bankowej