Aplikuj teraz

Data Engineer | Branża e-commerce (Praca zdalna)

Edge One Solutions Sp. z o.o.

Warszawa
zdalna
SQL
🐍 Python
🌐 zdalna

Wymagania

Technologie wymagane

SQL

Python

Technologie mile widziane

Spark

Flink

dbt

PostgreSQL

MySQL

MongoDB

Redis

Airflow

Prefect

Dagster

Google Cloud Platform

BigQuery

GCS

Nasze wymagania

  • Bardzo dobra znajomość SQL - umiejętność pisania złożonych zapytań, optymalizacji, modelowania danych
  • Bardzo dobra znajomość Pythona (skrypty ETL/ELT)
  • Doświadczenie z Big Data / przetwarzaniem rozproszonym (np. Spark, Flink, dbt)
  • Znajomość relacyjncyh baz danych (np. PostgreSQL, MySQL) oraz podstawy NoSQL (np. MongoDB, Redis jako cache/metadane)
  • Umiejętność pracy z narzędziami do orkiestracji danych – np. Airflow / Prefect / Dagster
  • Znajomość chmury (mile widziane GCP, BigQuery, GCS lub inne)

Twój zakres obowiązków

  • Projektowanie i rozwój potoków danych (ETL/ELT)
  • Integracja danych z rozproszonych systemów (różne źródła, formaty, API)
  • Zapewnienie jakości, spójności i kompletności danych
  • Współpraca z Data Scientistami, backend developerami i Product Ownerem
  • Monitorowanie, debugowanie i optymalizacja wydajności potoków danych
  • Praca w metodykach Agile/Scrum
  • Kontrola wersji w Git
  • Dbanie o monitoring i jakość danych (walidacje, alerty, logowanie)
  • Proaktywność w wychwytywaniu problemów z danymi i proponowaniu usprawnień architektury
  • Projektowanie rozwiązań pod duże wolumeny danych i możliwość 10x scale-up
Wyświetlenia: 4
Opublikowana14 dni temu
Wygasaza 10 dni
Tryb pracyzdalna
Źródło
Logo

Podobne oferty, które mogą Cię zainteresować

Na podstawie "Data Engineer | Branża e-commerce"