Data Engineer with GCP

Clurgo Zobacz wszystkie oferty

Kraków

10 dni temu

W skrócie

Data Engineer role in Krakow for a financial sector project using GCP. Responsibilities include designing, developing, and maintaining data pipelines (batch & streaming), ETL/ELT, and data integration. Requires 10+ years of IT experience, strong Data Engineering, GCP, Python, SQL, PostgreSQL, PL/SQL, and Apache Beam skills. Hybrid work model.

Słowa kluczowe

Data Engineering GCP Python SQL PostgreSQL Apache Beam ETL Data Pipelines BigQuery Cloud Composer

Skrót przygotowany przez AI na podstawie treści ogłoszenia.

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.✅Dołącz do projektu dużej organizacji z sektora finansowego obejmującego projektowanie, rozwój i utrzymanie batchowych oraz strumieniowych pipeline'ów danych w środowisku Google Cloud Platform. Będziesz pracować nad rozwiązaniami ETL/ELT, integracją danych, orkiestracją procesów oraz optymalizacją modeli danych i zapytań.✅Technologie i narzędzia: GCP, Dataflow, Apache Beam, Airflow, Cloud Composer, Python, SQL, PostgreSQL, PL/SQL, BigQuery, Cloud SQL, Cloud Storage, Pub/Sub, Google Cloud SDK, Git, Jenkins

Szukamy Ciebie, jeśli:👉posiadasz minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering👉masz praktyczne doświadczenie z usługami Google Cloud Platform (GCP)👉potrafisz kodować w Pythonie👉bardzo dobrze znasz SQL, PostgreSQL oraz PL/SQL👉masz doświadczenie z Apache Beam👉posiadasz dobrą znajomość Google Cloud SDK, API oraz skryptów👉znasz podstawy DevOps, w tym Git, CI/CD, procesy release'oweMile widziane:znajomość Dataprocdoświadczenie w pracy z dużymi, rozproszonymi zbiorami danychdoświadczenie w rozwiązaniach streamingowych i architekturach event-drivendoświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi
Zadania:projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GC
Pbudowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Pythonprojektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQ
Ltworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composerintegracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQ
Lzapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ówoptymalizacja wydajności procesów przetwarzania danych i zapytań SQ
Lwspółpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania technicznestosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązańpraca z Git i Jenkins w obszarze procesów DevOps
Czego możesz się spodziewać:współpracy w oparciu o kontrakt B2Bpracy hybrydowej: 8 dni w miesiącu z biura w Krakowie profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji Poznaj nas lepiej👉 https://www.facebook.com/clurgo/