Senior Data Engineer

Link Group Show all offers

Warszawa

Praca zdalna

25 days ago

In short

Senior Data Engineer role in Warsaw. Design and develop Data Platforms and scalable data solutions using Python, PySpark, SQL, Azure services, and Databricks. Requires 3+ years of experience and technical leadership. Full-time, on-site.

Keywords

Data Engineering Python PySpark SQL Azure Databricks Lakehouse ELT Spark Terraform

AI-written summary based on the listing content.

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.

Zakres obowiązków

Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.

Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.

Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.

Tworzenie modeli danych i warstw analitycznych.

Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.

Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.

Zapewnienie jakości, bezpieczeństwa i zgodności danych.

Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.

Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Wymagania

Minimum 3 lata doświadczenia w obszarze Data Engineering.

Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.

Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.

Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.

Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.

Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.

Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.

Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.

Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.

Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).

Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.

Certyfikacje Databricks lub Data Engineering.