Fabric Data Engineer Senior

Wymagania

Praktyczna znajomość ekosystemu Microsoft Fabric (One

Lake, Lakehouse, Data Warehouse, Data Factory).

Bardzo dobra znajomość PySpark (Python) oraz T-SQL.

Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema).

Praktyczna znajomość formatu Delta Lake i technik jego optymalizacji (V-Order, Compaction).

Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake.

Język angielski B2/C1.

Zadania

Projektowanie, rozwój i utrzymanie rozwiązań danych w środowisku Microsoft Fabric.

Budowa oraz zarządzanie architekturą danych z wykorzystaniem komponentów One

Lake, Lakehouse, Data Warehouse oraz Data Factory.

Tworzenie i rozwój procesów ETL/ELT z wykorzystaniem PySpark (Python) oraz T-SQL.

Implementacja architektury Medallion (Bronze, Silver, Gold) zgodnie z najlepszymi praktykami projektowania platform danych.

Projektowanie i rozwój modeli analitycznych opartych na schemacie gwiazdy (Star Schema) na potrzeby raportowania i analiz biznesowych.

Przetwarzanie oraz optymalizacja danych zapisanych w formacie Delta Lake, w tym wykorzystanie mechanizmów V-Order, Compaction oraz innych technik poprawy wydajności.

Projektowanie warstwy Gold z uwzględnieniem wymagań wydajnościowych dla Power BI Direct Lake.

Monitorowanie, optymalizacja i tuning procesów przetwarzania danych oraz wydajności zapytań.

Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engineering.

Współpraca z analitykami danych, zespołami BI oraz architektami przy projektowaniu i wdrażaniu rozwiązań analitycznych.

Tworzenie dokumentacji technicznej dotyczącej procesów przetwarzania danych, modeli danych oraz architektury rozwiązania.

Udział w projektowaniu standardów i dobrych praktyk związanych z platformą Microsoft Fabric oraz rozwojem nowoczesnych rozwiązań Data & Analytics.