Senior Data Engineer (Big Data Engineering)

Poszukujemy Senior Data Engineera do projektu w obszarze Group Financial Crime Prevention, gdzie będziesz współtworzyć nowoczesną platformę danych do wykrywania przestępstw finansowych.O projekcieProjekt skupia się na budowie i rozwoju pipeline’ów Big Data oraz aplikacji streamingowych integrujących dane z różnych źródeł, w tym systemów wewnętrznych oraz zewnętrznych dostawców danych.ObowiązkiProjektowanie i rozwój rozproszonych pipeline’ów Big Data do przetwarzania dużych wolumenów danych (structured & unstructured)Tworzenie aplikacji streamingowych integrujących dane z wielu źródełWykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danychBudowa pipeline’ów danych dla analityki, wizualizacji oraz systemów AMLIntegracja systemów opartych na Kafka i Hadoop ecosystemWspółpraca z zespołami DevOps w zakresie CI/CD i deploymentu pipeline’ów danychPraca w metodykach Agile i Continuous DeliveryZapewnienie wysokiej jakości kodu oraz skalowalności rozwiązańWymagania (MUST-HAVE)ScalaSparkBig Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.)Podstawowa znajomość KafkaImpalaWymagania (NICE TO HAVE)AWSSnowflakeOferujemyKontrakt B2BPracę w trybie hybrydowym (minimum 3 dni w tygodniu w biurze w Warszawie, Gdyni lub Gdańsku)Stabilną pracę w międzynarodowym banku w obszarze Financial Crime / AMLRealny wpływ na bezpieczeństwo systemu finansowegoPracę z dużymi wolumenami danych i nowoczesnym stackiem Big Data