Data Engineer (K/M)

WYMAGANIA:

Minimum 4 lata doświadczenia na stanowisku Data Engineera lub w pokrewnej roliBardzo dobra znajomość Python oraz SQL

Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT)

Praktyczna znajomość pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi (transformacje, normalizacja, przygotowanie)

Umiejętność modelowania danych oraz pracy z różnymi schematami baz danych

Doświadczenie z relacyjnymi bazami danych (np. PostgreSQL, MySQL, MS SQL, Oracle)

Znajomość wektorowych baz danych i ich zastosowań w kontekście AI

Doświadczenie w integracji z API

Znajomość rozwiązań chmurowych (AWS, GCP lub Azure)

Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem technologii Big DataMile widziane:

Doświadczenie w projektach wykorzystujących LLM (np. RAG)

Znajomość narzędzi do orkiestracji danych (np. Airflow)

Współpraca z zespołami ML / AI

Doświadczenie w migracjach i znajomość architektury rozwiązań CRM (Pega, Salesforce, SAS, Adobe) ZADANIA: Projektowanie, budowa i utrzymanie pipeline’ów danych (ETL/ELT)

Integracja danych z różnych źródeł oraz zapewnienie ich jakości i spójności

Modelowanie danych i projektowanie struktur bazodanowych

Zarządzanie oraz optymalizacja baz danych (relacyjnych i wektorowych)

Przygotowywanie danych na potrzeby systemów AI/ML (w tym LLM)

Współpraca z zespołami AI/ML w zakresie dostarczania i przetwarzania danych

• Implementacja rozwiązań w chmurze (AWS, GCP, Azure) związanych z przetwarzaniem danych
• Monitorowanie i optymalizacja wydajności pipeline’ów oraz procesów danych
• Wdrażanie dobrych praktyk w zakresie zarządzania danymi i ich bezpieczeństwa