Wymagania

Technologie wymagane

SQL

Python

Technologie mile widziane

Spark

Flink

dbt

PostgreSQL

MySQL

MongoDB

Redis

Airflow

Prefect

Dagster

Google Cloud Platform

BigQuery

GCS

Nasze wymagania

• Bardzo dobra znajomość SQL - umiejętność pisania złożonych zapytań, optymalizacji, modelowania danych
• Bardzo dobra znajomość Pythona (skrypty ETL/ELT)
• Doświadczenie z Big Data / przetwarzaniem rozproszonym (np. Spark, Flink, dbt)
• Znajomość relacyjncyh baz danych (np. PostgreSQL, MySQL) oraz podstawy NoSQL (np. MongoDB, Redis jako cache/metadane)
• Umiejętność pracy z narzędziami do orkiestracji danych – np. Airflow / Prefect / Dagster
• Znajomość chmury (mile widziane GCP, BigQuery, GCS lub inne)

Twój zakres obowiązków

• Projektowanie i rozwój potoków danych (ETL/ELT)
• Integracja danych z rozproszonych systemów (różne źródła, formaty, API)
• Zapewnienie jakości, spójności i kompletności danych
• Współpraca z Data Scientistami, backend developerami i Product Ownerem
• Monitorowanie, debugowanie i optymalizacja wydajności potoków danych
• Praca w metodykach Agile/Scrum
• Kontrola wersji w Git
• Dbanie o monitoring i jakość danych (walidacje, alerty, logowanie)
• Proaktywność w wychwytywaniu problemów z danymi i proponowaniu usprawnień architektury
• Projektowanie rozwiązań pod duże wolumeny danych i możliwość 10x scale-up