Data Engineer

DS STREAM Show all offers

Praca zdalna

1 month ago

In short

Senior Data Engineer (LLM & RAG) for DS STREAM. Develop cloud solutions for Generative AI, LLM, and RAG. 100% remote in Poland. Experience with Azure, GCP, Databricks, Spark, LangChain/LlamaIndex required.

Keywords

data engineering LLM RAG Generative AI Azure GCP Databricks Spark Vector Search LangChain

AI-written summary based on the listing content.

[zdalnie] Senior Data Engineer LLM & RAG

🚀 Rozwijamy nasz zespół AI Data Engineering w DS STREAM!

Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania chmurowe zasilające systemy Generative AI, duże modele językowe (LLM) oraz architektury RAG (Retrieval-Augmented Generation).

📍 Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).

O projekcie Dołączysz do projektu budującego zaawansowany ekosystem danych w środowisku multicloud (Azure oraz GCP), który stanowi fundament dla produkcyjnych wdrożeń LLM/RAG i wyszukiwania kontekstowego.

Środowisko wykorzystuje m.in. Azure Databricks, GCP Vertex AI (Vector Search), Unity Catalog, Spark Structured Streaming oraz Databricks, zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi. Architektura rozwiązania oparta jest na modelu Medallion Architecture, połączonym z nowoczesnym przetwarzaniem danych niestrukturyzowanych (chunking, embeddingi) oraz orkiestracją LLM (LangChain / LlamaIndex).