Senior Data Engineer

Dla naszego klienta z branży turystycznej i rejsowej poszukujemy doświadczonej osoby na stanowisko Senior Data Engineera. Projekt jest długoterminowy i dotyczy rozwoju globalnej platformy danych opartej na ekosystemie Azure.

Szczegóły współpracy

• Rola: Senior Data Engineer
• Start: ASAP
• Czym się zajmiesz
• Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse)

Wdrażanie i optymalizacja procesów ETL/ELT: pobieranie, transformacja i udostępnianie danych z wielu domen biznesowych

• Tworzenie rozwiązań do przetwarzania danych w Pythonie, SQL i Apache Spark
• Wsparcie migracji i modernizacji platformy, w tym wdrożenia Unity Catalog oraz aktualizacji platformy
• Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków metadata-driven i procesów orkiestracji
• Współpraca z architektami, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne
• Dbanie o jakość, niezawodność, wydajność i bezpieczeństwo danych
• Analiza incydentów produkcyjnych, wyszukiwanie przyczyn źródłowych i wdrażanie działań naprawczych
• Udział we wdrażaniu CI/CD, automatyzacji infrastruktury, monitoringu i dobrych praktyk operacyjnych
• Optymalizacja pipeline’ów, struktur przechowywania danych i obciążeń przetwarzania pod kątem wydajności i kosztów
• Udział w przeglądach rozwiązań i architektury oraz promowanie standardów inżynierskich i zasad governance
• Dzielenie się wiedzą, mentoring i wspieranie rozwoju technicznego zespołu
• Ścisła współpraca z Data Architektami i zespołami platformowymi, aby zapewnić zgodność z architekturą korporacyjną i zasadami Lakehouse
• Dostarczanie niezawodnych, skalowalnych fundamentów danych dla raportowania, analityki i inicjatyw AI/ML
• Wymagania techniczne
• Apache Spark
• Python
• SQL
• Azure Cloud: Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer
• DatabricksCI/CD i Azure DevOps
• Power BI
• Doświadczenie w budowie i utrzymaniu procesów ETL/ELT
• Doświadczenie z Delta Live Tables (DLT)

Doświadczenie z Unity Catalog

• Zrozumienie architektury Lakehouse
• Doświadczenie w automatyzacji infrastruktury, monitoringu i logowaniu
• Czego jeszcze oczekujemy
• Silnych umiejętności analitycznych i rozwiązywania problemów
• Samodzielności oraz wysokiego poziomu ownership i odpowiedzialności
• Proaktywnego podejścia do identyfikowania ryzyk, blokerów i możliwości usprawnień
• Bardzo dobrej komunikacji i umiejętności pracy z interesariuszami technicznymi i biznesowymi
• Doświadczenia w pracy w dynamicznym środowisku ze zmieniającymi się priorytetami
• Umiejętności podejmowania pragmatycznych decyzji i dowożenia rezultatów przy niepełnych wymaganiach
• Doświadczenia w zespołach cross-funkcyjnych
• Znajomości zasad data governance, bezpieczeństwa i compliance
• Komfortu pracy w środowisku o relatywnie niskim poziomie formalnych procesów
• Elastyczności, odporności i dobrej organizacji pracy
• Umiejętności samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań