Wymagania

Technologie wymagane

Python

SQL

Apache Iceberg

Spark

dbt-spark

Airflow

StarRocks

Trino

Superset

OpenMetadata

Nasze wymagania

• posiadasz min. 5–8 lat doświadczenia jako DevOps Engineer,
• bardzo dobrze znasz Python i SQL,
• masz doświadczenie z systemami plików S3-compatible (preferowane CEPH),
• znasz Apache Iceberg, Spark, dbt-spark, Airflow, StarRocks/Trino, Superset, OpenMetadata,
• masz doświadczenie w konfiguracji IAM: Keycloak + Entra ID,
• rozumiesz architekturę Lakehouse i procesy ELT,
• sprawnie komunikujesz się w języku angielskim (min. B2/C1).

Twój zakres obowiązków

• uczestnictwo w projekcie dot. budowy nowoczesnej platformy Data Lakehouse centralizującej dane CRM i dane operacyjne,
• wykorzystywany stos technologiczny: Apache Iceberg, Spark, StarRocks, Trino, Superset, Airflow, OpenMetadata, CEPH (S3-compatible), dbt-spark, Python, SQL,
• praca w 4–6 osobowym zespole: Senior DevOps Engineer, Senior Data Engineer, QA Engineer, PM/Architect,
• integracja i konfiguracja komponentów lakehouse,
• przygotowanie środowisk S3-compatible pod storage Iceberg i procesy ELT,
• integracja OpenMetadata (katalogi, źródła danych, ingest metadanych),
• konfiguracja Keycloak + Microsoft Entra ID (IAM, RBAC, polityki dostępu),
• automatyzacja procesów i skryptów z użyciem Python + SQL,
• współpraca z Data Engineerem przy wdrażaniu pipeline’ów Spark/dbt/Trino/StarRocks,
• praca 100% remote,
• stawka do 160 zł/h przy B2B w zależności od doświadczenia.