Data Engineer Databricks Developer

Data Engineer (Databricks)

Oferujemy

• Model współpracy: 100% zdalna (z możliwością pracy z biura i okazjonalnymi spotkaniami zespołu)
• Stawka: 120-150 zł/h netto

Obowiązki

• Projektowanie i rozwój aplikacji oraz procesów ETL/ELT w środowisku Databricks.
• Implementacja rozwiązań w językach wykorzystywanych na platformie Databricks (np. PySpark, Spark SQL).
• Optymalizacja wydajności przetwarzania danych i tuning zapytań oraz zadań.
• Integracja Databricks z innymi usługami chmurowymi i narzędziami analitycznymi.
• Tworzenie i utrzymanie dokumentacji technicznej oraz standardów kodowania.
• Współpraca z zespołami analitycznymi, DevOps i biznesowymi w celu dostarczenia stabilnych rozwiązań.
• Udział w przeglądach architektury, kodu i wdrożeń oraz proponowanie usprawnień technicznych.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering / Big Data
• Praktycznego, projektowego doświadczenia z Databricks i Apache Spark (preferowane min. 3 lata)
• Znajomości przynajmniej jednego z języków używanych w Databricks: Python, Scala lub SQL
• Praktycznej wiedzy z projektowania procesów ETL/ELT oraz pracy z danymi w formatach Parquet, Avro, CSV i innych
• Umiejętności optymalizacji zapytań i zadań Spark oraz zarządzania zasobami klastra
• Dobrych praktyk w zakresie kontroli wersji (Git) i automatyzacji wdrożeń
• Samodzielności w działaniu
• Znajomości języka angielskiego na poziomie C1

Mile widziane

• Doświadczenie w obszarze AI/ML (MLflow, pipeline’y RAG)
• Doświadczenie w projektach dla sektora prawnego, podatkowego lub finansowego