Analytics Engineer (m/k/os)

DOZ S.A. Zobacz wszystkie oferty

Warszawa

4 dni temu

W skrócie

Analytics Engineer wanted at DOZ S.

A. in Warsaw. Responsibilities include building data pipelines in Azure, processing data on Databricks, real-time data processing, and managing Azure infrastructure. Requires 3+ years of Data Engineering/DataOps experience, Python, SQL, Databricks, Azure, Terraform, Docker, Kubernetes, CI/CD, and Git. English required.

Słowa kluczowe

Azure Databricks Python SQL Terraform Docker Kubernetes CI/CD Git Data Engineering

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Twój zakres obowiązków

Projektowanie i implementacja skalowalnych potoków danych w Azure, orkiestrowanych w Dagster
Przetwarzanie danych na platformie Databricks: optymalizacja zadań Spark, zarządzanie klastrami, rozwiązania oparte na Delta Lake
Budowa rozwiązań przetwarzania danych w czasie rzeczywistym w architekturze zdarzeniowej (Apache Kafka, Debezium)
Tworzenie reużywalnych komponentów i bibliotek w Pythonie, które standaryzują procesy ETL/ELT
Zarządzanie infrastrukturą Azure w Terraform, w tym AKS, zasobami Databricks, bazami danych i siecią
Konteneryzacja aplikacji i procesów danych (Docker) oraz ich orkiestracja i skalowanie na Kubernetes
Budowa w pełni zautomatyzowanych procesów CI/CD (Azure DevOps / GitHub Actions) dla Kubernetes i Databricks
Wdrażanie podejścia „Everything as Code”: kod, testy, Dockerfile, manifesty K8s i Terraform wersjonowane w Git
Projektowanie systemów monitorowania, logowania i alertowania oraz observability (np. OpenMetadata)
Optymalizacja wydajności i kosztów procesów na Azure i Databricks
Współpraca z zespołami Data Engineering, Data Science i BI oraz mentoring w zakresie praktyk DataOps

Nasze wymagania

Min. 3 lata doświadczenia w obszarze Data Engineering, DataOps lub DevOps dla danych
Bardzo dobra znajomość Pythona (kod produkcyjny, tworzenie bibliotek) oraz SQL
Praktyczne doświadczenie z Databricks i PySpark, w tym Delta Lake
Doświadczenie z usługami chmury Azure
Znajomość Terraform i podejścia Infrastructure as Code
Praktyczna znajomość Dockera i Kubernetes (mile widziane AKS)
Doświadczenie w budowie pipeline’ów CI/CD (Azure DevOps lub GitHub Actions) oraz biegła praca z Git
Doświadczenie z narzędziami do orkiestracji (Dagster, Airflow lub podobne)
Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną

Mile widziane

Doświadczenie z Apache Kafka i Change Data Capture (Debezium)
Znajomość narzędzi observability i katalogowania danych (OpenMetadata, Prometheus, Grafana)
Doświadczenie z Unity Catalog
Certyfikaty Databricks lub Microsoft Azure
Doświadczenie w branży retail lub e-commerce

To oferujemy

👩‍💻 ambitną pracę, w której nie sposób się nudzić
🔏możliwość dołączenia do dobrego ubezpieczenia grupowego na preferencyjnych warunkach, które zapewni poczucie bezpieczeństwa Tobie i Twoim bliskim
🩺prywatną opiekę medyczną dzięki, której będziesz miał możliwość skonsultowania się ze specjalistami na trenie całego kraju
💉akcje profilaktyczne dzięki którym chcemy zadbać o Twoje zdrowie!
☕pyszną kawę w miłym towarzystwie współpracowników
📉zniżki oraz karty rabatowe na wybrane produkty
💪karty sportowe dzięki którym zadbasz o swoje dobre samopoczucie
👼udział w akcjach CSR, bo lubimy pomagać
🤝regularny feedback, który pomoże rozwijać Twoje kompetencje
Udział w akcjach CSR (np. akcje charytatywne)

Benefity