Senior Data Engineer (Rust, DataFusion)

Rekrutujemy dla

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Optymalizacja i integracja źródeł danych (takich jak PostgreSQL oraz pliki Parquet/CSV), obejmująca mechanizmy pushdownu predykatów i szybkie przetwarzanie wsadowe.
• Tworzenie oraz wdrażanie zaawansowanych mechanizmów kontrolnych na produkcję, w tym zapewnienie precyzji wyliczeń numerycznych, monitorowanie stanu systemu oraz optymalne zarządzanie pamięcią.
• Projektowanie transformacji tabelarycznych w środowisku Rust i rozbudowa frameworków Arrow oraz DataFusion o dedykowane komponenty planowania zapytań.
• Budowa trwałego katalogu na potrzeby definicji danych oraz implementacja widoków semantycznych i nowych rozszerzeń dla języka SQL.
• Zapewnienie niezawodnego dostępu do danych dla narzędzi BI i klientów JDBC/JOOQ, poprzez budowę interfejsu SQL zachowującego pełną kompatybilność z PostgreSQL.

Nasze wymagania

• Zaawansowana, poparta komercyjnym doświadczeniem znajomość języka Rust (w szczególności: asynchroniczność, zarządzanie pamięcią, współbieżność, profilowanie kodu).
• Biegłe posługiwanie się językiem SQL oraz dogłębne zrozumienie specyfiki PostgreSQL (plany zapytań, agregacje, joiny, zasady spójności transakcyjnej).
• Praktyka w tworzeniu niezawodnych systemów backendowych o dużej wydajności, budowie silników zapytań lub infrastruktury analitycznej.
• Bezwzględna dbałość o wysoką jakość kodu, bezawaryjność wdrożeń produkcyjnych oraz tworzenie kompleksowych testów.

Mile widziane

• praktyczna znajomość narzędzi Apache Arrow / DataFusion, doświadczenie w budowaniu parserów SQL lub w projektowaniu systemów pod precyzyjne wyliczenia finansowe.

To oferujemy

• Współpracę w oparciu o kontrakt B2B.
• Całkowicie zdalny model pracy.
• Pełne pokrycie kosztów ewentualnych, incydentalnych podróży i spotkań projektowych.
• Olbrzymią niezależność oraz decyzyjność techniczną przy rozwijaniu kluczowych komponentów systemu.