Data Engineer (Senior)

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• praca w obszarze procesów integracji danych na GCP,
• praca w obszarze procesów integracji danych on-prem,
• projektowanie, budowa i tuning baz danych,
• korzystanie z narzędzi ETL na GCP i on-prem,
• korzystanie z kolejek Kafka oraz GCP Pub / Sub,
• wystawianie usług Rest API,
• praca w języku Python oraz z frameworkiem PySpark,
• wykorzystanie języka Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych,
• z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym,
• praca w modelu hybrydowym 1 raz w tygodniu z biura w Warszawie.

Nasze wymagania

• masz co najmniej 5-letnie doświadczenie jako Data Engineer GCP w obszarze procesów integracji danych na GCP,
• bardzo dobrze znasz bazy danych GCP: GCP Big Query, GCP Big Table, Scylla Cloud,
• dobrze znasz narzędzia ETL Flow na GCP: Apache AirFlow, GCP Data Flow, GCP Data Proc,
• korzystasz z kolejek Kafka oraz GCP Pub / Sub,
• masz co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych on-prem,
• biegle posługujesz się narzędziami ETL on-prem na poziomie zaawansowanym: Informatica Power Center, NIFI,
• posiadasz ekspercką znajomość relacyjnych baz danych Oracle, PostgreSQL, ScyllaDB,
• bardzo dobrze znasz narzędzie harmonogramujące Automate Now firmy Infinity Data,
• potrafisz wystawiać usługi Rest API,
• masz co najmniej 3-letnie doświadczenie jako programista,
• biegle znasz Python w obszarze integracji i analizy danych oraz framework PySpark,
• znasz język Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych.

Mile widziane

• podstawowa wiedza w zakresie programowania MicroServices w języku JAVA,
• korzystanie z systemu operacyjnego Linux na poziomie zaawansowanego użytkownika,
• doświadczenie w pracy z dużymi wolumenami danych ~100TB,
• umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy,
• samodzielność i kreatywność w rozwiązywaniu problemów,
• terminowość i rzetelność w realizacji projektów,
• znajomość narzędzi pomocniczych: repozytorium GIT, narzędzi do monitorowania jak np. Grafana, narzędzi do testów wydajności jak Apache JMeter.

Tak organizujemy naszą pracę

Tak pracujemy

To oferujemy

• stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services),
• możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych,
• przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet),
• prywatną opiekę medyczną - Luxmed,
• kafeteryjny system benefitów - Motivizer,
• dostęp do karty Multisport,
• program poleceń pracowniczych z nagrodami,
• integracje i wydarzenia firmowe.

Benefity