Senior Data Engineer

Senior Data Engineer Szukamy Senior Data Engineera, który dołączy do projektu z obszaru nowoczesnych platform danych, AI oraz inteligentnego zarządzania łańcuchem dostaw.

Na tym stanowisku będziesz odpowiadać za projektowanie i rozwój skalowalnej architektury danych, budowę end-to-end pipeline’ów oraz integrację danych z różnych źródeł – m.in. systemów ERP, źródeł zewnętrznych i dokumentacji technicznej. Dużą częścią projektu są również rozwiązania wspierające AI/ML, GenAI oraz RAG.

Zakres obowiązków

• Projektowanie i rozwój architektury Data Lakehouse
• Budowa skalowalnych, end-to-end pipeline’ów danych
• Przetwarzanie dużych zbiorów danych z wykorzystaniem Apache Spark
• Integracja danych z systemów ERP, źródeł zewnętrznych oraz dokumentacji technicznej
• Projektowanie modeli danych i rozwiązań wspierających analitykę oraz AI
• Rozwój rozwiązań dla AI/ML, GenAI i RAG
• Praca z danymi strumieniowymi i batchowymi
• Dbanie o jakość, bezpieczeństwo, lineage i governance danych
• Współpraca przy rozwoju i utrzymaniu platformy danych oraz procesów CI/CDWymagania5–8 lat doświadczenia w obszarze Data Engineering
• Bardzo dobra znajomość Python i SQL
• Praktyczne doświadczenie z Apache Spark i przetwarzaniem danych na dużą skalę
• Znajomość Apache Kafka oraz Apache Airflow
• Doświadczenie z architekturą Data Lakehouse – np. Delta Lake, Iceberg, Hudi, Databricks lub podobne
• Umiejętność projektowania modeli danych i budowania pipeline’ów end-to-end
• Doświadczenie z relacyjnymi bazami danych, np. Postgre
• SQL
• Znajomość baz wektorowych, np. Weaviate, Milvus lub podobnych
• Doświadczenie w rozwiązaniach AI/ML, GenAI oraz RAG
• Znajomość Docker i Kubernetes
• Doświadczenie z CI/CD w środowiskach danych
• Praktyczna wiedza z zakresu Data Governance, Data Lineage, Data Quality oraz kontroli dostępu
• Mile widziane
• Doświadczenie z SAP S/4HANA lub SAP AribaPraca ze środowiskami on-premise i air-gapped
• Znajomość Trino / Presto
• Doświadczenie z dbt lub podobnymi narzędziami Analytics Engineering
• Znajomość Flink lub Spark Structured Streaming
• Doświadczenie w branży defense, aerospace, manufacturing lub supply chain
• Doświadczenie w pracy z danymi wrażliwymi i środowiskami o wysokich wymaganiach bezpieczeństwa
• Oferujemy
• Długoterminowy projekt o dużym znaczeniu biznesowym
• Pracę z nowoczesnym stackiem technologicznym z obszaru Data Engineering, AI i GenAI
• Możliwość realnego wpływu na architekturę i rozwój platformy danych
• Stawkę: 150 - 170 zł/h netto + VAT na B2B, zależnie od doświadczenia i poziomu seniority
• Pracę w doświadczonym zespole technicznym