Data Engineer (Apache Iceberg)

Billennium to globalna firma technologiczna z ponad 20-letnim doświadczeniem, zaangażowana w innowacje i wspieranie przedsiębiorstw. Jako pracodawca oferujemy wspierające, nastawione na rozwój środowisko, w którym współpraca i kreatywność to naczelne wartości. Dołącz do nas, aby wspólnie kształtować przyszłość technologii!Kogo szukamy?Do naszego zespołu poszukujemy doświadczonej osoby na stanowisko Data Engineera, która wesprze nas w realizacji projektów IT — w obszarze public. Zakres zadań:Budowa i rozwój rozwiązań w architekturze datalake/lakehouse.Praca z formatem tabelarycznym Apache Iceberg (tworzenie, optymalizacja, zarządzanie).Tworzenie i utrzymywanie pipeline’ów danych z wykorzystaniem Apache Spark oraz StarRocks.Realizacja transformacji danych w SQL oraz Pythonie.Uruchamianie i monitorowanie obciążeń Big Data w środowisku Kubernetes oraz praca z magazynami obiektowymi S3.Modelowanie danych oraz dbanie o ich jakość i spójność.Współtworzenie procesów orkiestracji, CI/CD oraz praktyk związanych z data governance.Stosowanie dobrych praktyk inżynierii danych i optymalizacja istniejących rozwiązań.Niezbędne umiejętności i kwalifikacje:Min.5 lat doświadczenia zawodowego w obszarze Data (np. jako Big Data Administrator lub w rolach pokrewnych)Znajomość architektury datalake/lakehouse. Doświadczenie w pracy z formatem tabelarycznym Apache IcebergUmiejętność pracy z silnikami przetwarzania Apache Spark, StarrocksBardzo dobra znajomość SQL oraz Python (w zakresie pracy z danymi)Doświadczenie w pracy z magazynem obiektowym S3 czy uruchamianiu obciążeń Big Data w środowisku Kubernetes.Znajomość zagadnień takich jak modelowanie danych, jakość danych, orkiestracja, CI/CD, data governanceZnajomość dobryk praktyk w dziedzinie data engineering.Nasza oferta:Pakiet benefitów pozapłacowych — Udemy for Business, prywatna opieka medyczna, karta Multisport, pakiet weterynaryjny, lekcje językowe, bony zakupoweElastyczność — elastyczne godziny pracy i opcje pracy zdalnej/hybrydowej dostosowane do Twojego stylu życia i lokalizacjiRozwój kariery — dostęp do szkoleń i certyfikacji, współpraca z globalnymi partnerami IT (Microsoft, AWS, Snowflake, Salesforce)Angażująca społeczność — udział w wydarzeniach team buildingowych, hackathonach i inicjatywach CSRFirmowe tradycje — coroczne wydarzenie integracyjne na MazurachCzekamy właśnie na Ciebie!