Senior Data Engineer

JellyLabs Tech Zobacz wszystkie oferty

Warszawa

7 dni temu

W skrócie

Senior Data Engineer needed for a long-term project developing a global data platform on Azure. Responsibilities include designing, developing, and maintaining data solutions, ETL/ELT processes, and collaborating with stakeholders. Requires expertise in Spark, Python, SQL, Azure Data Platform, Databricks, and CI/CD.

Słowa kluczowe

azure data platform azure databricks apache spark python sql etl/elt ci/cd unity catalog delta live tables

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Dla naszego klienta z branży turystycznej i rejsowej poszukujemy doświadczonej osoby na stanowisko Senior Data Engineera. Projekt jest długoterminowy i dotyczy rozwoju globalnej platformy danych opartej na ekosystemie Azure.

Szczegóły współpracy

Rola: Senior Data Engineer
Start: ASAP
Czym się zajmiesz
Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse)

Wdrażanie i optymalizacja procesów ETL/ELT: pobieranie, transformacja i udostępnianie danych z wielu domen biznesowych

Tworzenie rozwiązań do przetwarzania danych w Pythonie, SQL i Apache Spark
Wsparcie migracji i modernizacji platformy, w tym wdrożenia Unity Catalog oraz aktualizacji platformy
Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków metadata-driven i procesów orkiestracji
Współpraca z architektami, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne
Dbanie o jakość, niezawodność, wydajność i bezpieczeństwo danych
Analiza incydentów produkcyjnych, wyszukiwanie przyczyn źródłowych i wdrażanie działań naprawczych
Udział we wdrażaniu CI/CD, automatyzacji infrastruktury, monitoringu i dobrych praktyk operacyjnych
Optymalizacja pipeline’ów, struktur przechowywania danych i obciążeń przetwarzania pod kątem wydajności i kosztów
Udział w przeglądach rozwiązań i architektury oraz promowanie standardów inżynierskich i zasad governance
Dzielenie się wiedzą, mentoring i wspieranie rozwoju technicznego zespołu
Ścisła współpraca z Data Architektami i zespołami platformowymi, aby zapewnić zgodność z architekturą korporacyjną i zasadami Lakehouse
Dostarczanie niezawodnych, skalowalnych fundamentów danych dla raportowania, analityki i inicjatyw AI/ML
Wymagania techniczne
Apache Spark
Python
SQL
Azure Cloud: Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer
DatabricksCI/CD i Azure DevOps
Power BI
Doświadczenie w budowie i utrzymaniu procesów ETL/ELT
Doświadczenie z Delta Live Tables (DLT)

Doświadczenie z Unity Catalog

Zrozumienie architektury Lakehouse
Doświadczenie w automatyzacji infrastruktury, monitoringu i logowaniu
Czego jeszcze oczekujemy
Silnych umiejętności analitycznych i rozwiązywania problemów
Samodzielności oraz wysokiego poziomu ownership i odpowiedzialności
Proaktywnego podejścia do identyfikowania ryzyk, blokerów i możliwości usprawnień
Bardzo dobrej komunikacji i umiejętności pracy z interesariuszami technicznymi i biznesowymi
Doświadczenia w pracy w dynamicznym środowisku ze zmieniającymi się priorytetami
Umiejętności podejmowania pragmatycznych decyzji i dowożenia rezultatów przy niepełnych wymaganiach
Doświadczenia w zespołach cross-funkcyjnych
Znajomości zasad data governance, bezpieczeństwa i compliance
Komfortu pracy w środowisku o relatywnie niskim poziomie formalnych procesów
Elastyczności, odporności i dobrej organizacji pracy
Umiejętności samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań