Data Engineer - databricks (k/m/x)

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• Analiza dużych wolumenów danych z sensorów w celu identyfikacji edge cases (np. nagłe hamowanie, bliskie pojazdy)
• Pisanie złożonych zapytań w SQL / Python / Spark (PySpark) do filtrowania, agregowania i transformowania danych
• Analiza i przetwarzanie danych szeregów czasowych
• Praca z wewnętrznymi narzędziami do wyszukiwania danych oraz workflowów auto-labeling
• Przetwarzanie danych strukturalnych i półstrukturalnych generowanych przez modele detekcji obiektów
• Identyfikowanie danych odpowiednich do symulacji pojazdów autonomicznych oraz pipeline’ów treningowych ML
• Projektowanie i rozwój skryptów do zaawansowanego data mining
• Budowa i utrzymanie procesów ETL dla dużych zbiorów danych
• Rozwój i usprawnianie wewnętrznych narzędzi analitycznych wspierających eksplorację danych
• Proponowanie i walidacja nowych podejść analitycznych usprawniających odkrywanie danych

Nasze wymagania

• Silne podstawy w inżynierii oprogramowania
• Zaawansowana znajomość SQL i umiejętność pisania złożonych zapytań
• Zaawansowana znajomość Python
• Bardzo dobra znajomość Spark / PySpark
• Praktyczne doświadczenie z Databricks
• Doświadczenie w zaawansowanej analizie danych
• Doświadczenie w analizie szeregów czasowych (time-series)
• Zrozumienie workflowów Machine Learning (przygotowanie danych do trenowania modeli)
• Umiejętność pracy z dużymi wolumenami danych
• Dodatkowe atuty:
• Doświadczenie z danymi sensorowymi (np. kamery, LiDAR, radar)
• Znajomość domeny autonomous driving / AV
• Doświadczenie z danymi półstrukturalnymi (np. tablice struktur z modeli detekcji obiektów)