Wymagania

Technologie wymagane

Spark/PySpark

Microsoft Azure

ETL

SQL

Python

Databricks

Technologie mile widziane

Snowflake

Apache Kafka

Apache Airflow

Nasze wymagania

• Min. 4 lata doświadczenia w projektach skupionych na przetwarzaniu wysokich wolumenów danych
• Bardzo dobra znajomość języków SQL i Python oraz narzędzia Spark/PySpark
• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH
• Znajomość procesu ETL oraz powiązanych z nim narzędzi (SSIS, ADF, IPC)
• Komercyjne doświadczenie w korzystaniu z Azure Databricks
• Umiejętność swobodnej komunikacji w języku angielskim
• Wymagana płynna znajomość języka polskiego
• Wymagane przebywanie na terenie Polski

Mile widziane

• Doświadczenie w projektach związanych z migracją danych z on-premise do chmury (bazy danych: Oracle, PostgreSQL, MS SQL)

Twój zakres obowiązków

• Budowanie i rozwijanie skalowalnych, działających w czasie rzeczywistym i wysokowydajnych rozwiązań typu Data Lake
• Tworzenie pipeline’ów ETL w celu pozyskiwania danych z różnych źródeł i przetwarzania ich w chmurze
• Modelowanie danych oraz ich przetwarzanie zgodnie z potrzebami biznesowymi
• Monitorowanie rozwiązań i proponowanie ulepszeń
• Zbieranie wymagań oraz proponowanie rozwiązań technologicznych
• Przygotowanie dokumentacji technicznej
• Ścisła współpraca z analitykami danych
• Wsparcie dla mniej doświadczonych kolegów, dzielenie się wiedzą i najlepszymi praktykami