Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Nexio Management to około 550 konsultantów, którzy od ponad 20 lat tworzą zaawansowane rozwiązania IT dla firm w Polsce i za granicą. Jesteśmy zespołem ekspertów, którzy realnie angażują się w projekty swoich klientów. Specjalizujemy się w budowie, rozwoju i utrzymaniu systemów i aplikacji, oraz doradztwie IT. Wierzymy, że najlepsze rozwiązania powstają wtedy, gdy jest przestrzeń na eksperymentowanie - dlatego mamy własne R& D Center na czele z NexioBot naszym mobilnym robotem asystującym, wykorzystującym sztuczną inteligencję do komunikacji. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Model hybrydowy: Kraków / Praca 2x w tygodniu z biura Klienta

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Twój zakres obowiązków

Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.

Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.

Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.

Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.

Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).

Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.

Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).

Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).

Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.

Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.

Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).

Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

Mile widziane: Doświadczenie w domenie bankowej lub finansowej.

To oferujemy

Stabilność zatrudnienia - długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.

Elastyczne formy współpracy - umowa B2B, umowa o pracę lub zlecenie.

Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.

Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.

Wewnętrzny program poleceń.

Możliwość finansowania certyfikatów IT.

W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.

Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem.

Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #Pomagamy

Nexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.