Senior Data Engineer – Scala / Spark / Hadoop

Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark., Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych., Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne., Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych., Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych., Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow., Rozwijanie rozwiązań opartych na języku Scala., Praca z architekturą event-driven wykorzystującą Apache Kafka., Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins., Zapewnianie wsparcia L3 dla środowisk produkcyjnych., Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów., Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów., Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.. Bardzo dobra, praktyczna znajomość Scali., Doświadczenie komercyjne z Apache Hadoop., Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych., Doświadczenie w tworzeniu pipeline’ów Data Engineering., Znajomość Apache Kafka oraz architektury event-driven., Praktyczne doświadczenie z CI/CD, w szczególności Jenkins., Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów., Umiejętność tworzenia i optymalizowania zapytań SQL., Doświadczenie w pracy ze środowiskami produkcyjnymi., Umiejętność samodzielnego analizowania złożonych problemów technicznych., Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole., Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku., Możliwość wykonywania pracy z terytorium Polski., Znajomość Kubernetes., Doświadczenie z Apache Flink., Znajomość Apache Airflow lub Apache Oozie., Doświadczenie w projektach regulacyjnych lub systemach raportowych., Doświadczenie zdobyte w sektorze finansowym.