Senior Data Engineer

Link Group Zobacz wszystkie oferty

Warszawa

Praca zdalna

25 dni temu

W skrócie

Senior Data Engineer role in Warsaw. Design and develop Data Platforms and scalable data solutions using Python, PySpark, SQL, Azure services, and Databricks. Requires 3+ years of experience and technical leadership. Full-time, on-site.

Słowa kluczowe

Data Engineering Python PySpark SQL Azure Databricks Lakehouse ELT Spark Terraform

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.

Zakres obowiązków

Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.

Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.

Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.

Tworzenie modeli danych i warstw analitycznych.

Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.

Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.

Zapewnienie jakości, bezpieczeństwa i zgodności danych.

Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.

Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Wymagania

Minimum 3 lata doświadczenia w obszarze Data Engineering.

Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.

Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.

Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.

Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.

Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.

Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.

Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.

Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.

Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).

Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.

Certyfikacje Databricks lub Data Engineering.