Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.✅Dołącz do projektu dużej organizacji z sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.✅Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

• Szukamy Ciebie, jeśli:👉masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala👉posiadasz doświadczenie z Google Cloud Platform (GCP)👉masz doświadczenie w budowaniu i utrzymywaniu data pipelines👉pracowałeś/aś z Airflow👉znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL👉swobodnie pracujesz w środowisku Unix/Linux👉masz doświadczenie z Git i GitHub👉znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins👉swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym👉komunikujesz się swobodnie w języku angielskim
• Mile widziane:doświadczenie z Elasticsearchdoświadczenie w tworzeniu rozwiązań z wykorzystaniem Java AP
• Isdoświadczenie w procesach data ingestion
• Zadania:projektowanie, rozwój i utrzymanie data pipelines w środowisku GC
• Prozwój rozwiązań opartych o PySpark / Apache Sparkautomatyzacja i harmonogramowanie procesów z wykorzystaniem Airflowwykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkinswspółpraca z zespołami technicznymi oraz biznesemprezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznymwsparcie w realizacji zadań pozostałych członków zespołuidentyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów
• Czego możesz się spodziewać:współpracy w oparciu o kontrakt B2Bpracy hybrydowej: 8 dni w miesiącu z biura w Krakowieprofesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji
• Poznaj nas lepiej👉 https://www.facebook.com/clurgo/