Senior Data Engineer with Databricks and Azure expertise

Prowadzimy strategiczną inicjatywę modernizacji platformy danych w organizacji. Celem projektu jest migracja z legacy Data Warehouse opartego na SQL Server do nowoczesnej architektury Lakehouse w oparciu o Azure Databricks. Nowa platforma będzie fundamentem dla skalowalnej analityki, raportowania korporacyjnego, data science oraz rozwiązań machine learning wykorzystywanych w wielu obszarach biznesowych.Jako Senior Data Engineer będziesz mieć realny wpływ na decyzje architektoniczne, kierunek rozwoju platformy oraz standardy pracy zespołu. Oprócz pracy technicznej, ważnym elementem roli będzie mentoring innych inżynierów oraz dbanie o najlepsze praktyki w obszarze data engineering, governance i projektowania platform danych.Do Twoich obowiązków będzie należało:• Projektowanie i wdrażanie nowoczesnych architektur Data Warehouse oraz Lakehouse.• Tworzenie i rozwój rozwiązań w Azure Databricks (Python / PySpark / Databricks SQL).• Budowa skalowalnych frameworków do integracji i przetwarzania danych w środowisku enterprise.• Projektowanie oraz optymalizacja batchowych i streamingowych pipeline’ów danych.• Implementacja architektury Medallion (Bronze / Silver / Gold).• Praca z Azure Data Lake Storage Gen2 oraz Delta Lake.• Optymalizacja wydajności Spark i Delta Lake.• Budowa i utrzymanie procesów CI/CD w Azure DevOps.• Wdrażanie zasad data governance (katalogowanie danych, lineage, kontrola dostępu).• Współpraca z architektami, analitykami, data scientistami oraz biznesem.• Udział w migracji z legacy Data Warehouse do architektury Lakehouse.• Wspieranie rozwoju zespołu i budowanie standardów inżynierskich.Idealnie abyś posiadał/a:• Minimum 5 lat doświadczenia w obszarze Data Engineering / Data Warehousing• Praktyczne doświadczenie w pracy z Azure Databricks (Python, PySpark, Databricks SQL)• Bardzo dobra znajomość SQL, modelowania danych oraz procesów ETL/ELT.• Doświadczenie z Azure Data Lake Storage, Delta Lake oraz procesami CI/CD.• Doświadczenie w projektowaniu i budowie platform danych klasy enterprise.• Znajomość zasad architektury cloud-native w obszarze danych.• Minimum poziom B2 języka angielskiego oraz płynna znajomość języka polskiego (w mowie i piśmie) — warunek koniecznyMile widziane:• Doświadczenie w optymalizacji Delta Lake.• Wdrażanie rozwiązań z obszaru data governance.• Znajomość Unity Catalog, architektur streamingowych oraz Power BI.• Doświadczenie z Azure Data Factory lub innymi narzędziami orkiestracji.Kluczowe technologie: Azure Databricks | Delta Lake | PySpark | Azure Data Lake Storage Gen2 | Unity Catalog | Azure DevOps Ze swej strony możemy zaoferować:• Pracę zdalną lub w jednym z naszych biur: Warszawa, Wrocław, Toruń, Kraków• Benefity w całości opłacane przez CGI (przy UOP):• Opiekę zdrowotną - rozbudowany plan Medicover Maxima obejmujący opiekę stomatologiczną.• Kartę Medicover Sport.• Ubezpieczenie na życie, od wypadku i poważnego zachorowania.• Program Wsparcia Pracowników, który zapewnia Tobie i Twojej rodzinie bezpłatny i anonimowy dostęp do pomocy specjalistów: psychologa, terapeuty oraz prawnika.• Plan Zakupu Akcji CGI - jeśli zdecydujesz się na inwestycje w akcje ramach naszego programu, my dołożymy drugie tyle. Swobodnie i bez kosztowo możesz obsługiwać swój rachunek maklerski.• Sformalizowany program pracy twórczej - aż 90% swojego czasu możesz zaraportować jako pracę podlegającą autorskim kosztom uzyskania przychodu.• PPP (Profit Participation Plan) - roczną premię zależną od wypracowanych wyników Business Unitu.• Referral Program – otrzymasz ponad 6000 zł za każdą osobę zatrudnioną z Twojego polecenia.• Program Be Consultant, który daje możliwość rozwijania kompetencji, rotację przy projektach, a nawet zmianę ścieżki zawodowej w ramach firmy.• Mentoring Program, dzięki któremu możesz rozwijać swoje kompetencje poszerzać wiedzę, czerpiąc ją od swoich kolegów z CGI. Jeśli sam posiadasz duże doświadczenie, możesz się dzielić wiedzą z innymi!• Atrakcyjny program szkoleń - masz dostęp do szerokiego pakietu szkoleń: partnerskich szkoleń, profesjonalnych certyfikatów po szkolenia na platformie CGI Academia.