Wymagania

Technologie wymagane

dbt

Apache Spark

Python

SQL

Apache Airflow

Technologie mile widziane

StarRocks

Trino

OpenMetadata

Kubernetes

Prometheus

Grafana

Nasze wymagania

• masz minimum 5 lat doświadczenia jako Data Engineer lub w pokrewnych rolach danych,
• bardzo dobrze znasz dbt (dbt-spark) oraz Apache Spark,
• pracowałeś/aś z formatami tabelowymi Apache Iceberg lub Hudi i rozumiesz ich mechanizmy ACID/UPSERT,
• znasz Python oraz SQL na poziomie zaawansowanym,
• masz doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling),
• rozumiesz architekturę Lakehouse (Bronze → Silver → Gold) i potrafisz ją wdrażać end-to-end,
• masz doświadczenie w pracy z obiektowymi storage S3/CEPH,
• potrafisz pracować autonomicznie, podejmować decyzje techniczne i dostarczać rozwiązania wysokiej jakości,
• swobodnie komunikujesz się po angielsku w codziennej pracy (B2/C1 level).

Mile widziane

• znajomość StarRocks, Trino, OpenMetadata,
• doświadczenie z Kubernetes, monitoringiem (Prometheus/Grafana) oraz podejściem GitOps (FluxCD),
• doświadczenie z modelowaniem danych, partitioningiem i optymalizacją dużych zbiorów,
• znajomość systemów CRM oraz danych marketingowych,
• praktyczna wiedza o mechanizmach Iceberg/Hudi.

Twój zakres obowiązków

• udział w budowie nowoczesnej platformy Data Lakehouse służącej do centralizacji danych CRM, marketingowych i operacyjnych,
• implementacja potoków ELT z systemów zewnętrznych z wykorzystaniem Airflow, CEPH i dbt-spark,
• projektowanie i budowa warstw Silver i Gold w Apache Iceberg wraz z optymalizacją,
• integracja i konfiguracja środowiska analitycznego opartego o Trino oraz StarRocks,
• udział w tworzeniu dashboardu POC w Apache Superset oraz integracja z OpenMetadata,
• praca z infrastrukturą opartą o Kubernetes, FluxCD, Helm, Terraform, Prometheus/Grafana,
• współpraca z doświadczonym zespołem DevOps, QA i PM w pełni zdalnym środowisku,
• realizacja projektu greenfield, z realnym wpływem na architekturę i decyzje technologiczne,
• 100 % zdalny projekt,
• stawka do 160 zł/h przy B2B w zależności od doświadczenia.