AWS Data Engineer (DataBricks+DataLake)

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?✨ Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.💡 Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.🚀 Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.🌟 Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Do projektu naszego klienta poszukujemy osoby na stanowisko AWS Data Engineer'a (DataBricks+Data

Lake)

Dla naszego klienta — międzynarodowej korporacji z siedzibą w Kanadzie/USA - poszukujemy kandydatów z płynnym językiem polskim o następującym profilu: Databricks + Data Lake na AWS. Kandydat powinien mieć kompetencje w 6 obszarach: Warunki Dostępność: od zaraz/2 tygodnie maxDyspozycyjność do godziny 17:00.

Wymagania:-4+ lat w data engineering. -2+ lata hands-on w Databricks.-2+ lata hands-on w AWS.-Doświadczenie w co najmniej jednej dużej migracji danych lub platformy1. Data Engineering i Databricks-Bardzo dobra znajomość Spark i PySpark.-Praktyka w Delta Lake: ACID, partitioning, Z-Ordering, optimize, vacuum.-Budowanie pipeline'ów batch i near real-time.-Znajomość Databricks Workflows, Jobs, Unity Catalog.-Pisanie wydajnych transformacji i debugowanie problemów wydajnościowych. 2. AWS i architektura Data Lake-Mocna znajomość S3 jako warstwy storage.-Praktyka z IAM, KMS, VPC, Private

Link, Secrets Manager.-Integracja z usługami typu Lambda, SNS/SQS, Glue (jeśli używane).-Projektowanie środowisk dev/test/prod i separacja kont/uprawnień.-Koszt i wydajność w chmurze: tagging, monitoring, optymalizacja. 3. SQL i migracje baz danych-Bardzo dobry SQL, najlepiej również doświadczenie z SQL Server i PostgreSQL.-Umiejętność konwersji logiki T-SQL do podejścia zgodnego z Databricks/PG.-Doświadczenie w migracji schematów, procedur, funkcji i walidacji danych.-Reconciliation po migracji: kontrole jakości, zgodność rekordów, raportowanie różnic. 4. Data Governance, Security, Compliance-Projektowanie modelu uprawnień na poziomie katalogu, schemy, tabeli, kolumny.-Dobra praktyka z data lineage, audytem i politykami dostępu.-Rozumienie wymagań compliance i zasady least privilege.-Praca z danymi wrażliwymi: maskowanie, tokenizacja, kontrola dostępu. 5. DevOps i jakość-CI/CD dla pipeline'ów danych i infrastruktury. Infrastructure as Code, najlepiej Terraform.-Testy danych: unit, integration, data quality checks.-Monitoring i alerting: SLA/SLO pipeline'ów, obsługa incydentów, runbooki. 6. Kompetencje projektowe i komunikacyjne-Umiejętność pracy cross-team z zespołami aplikacyjnymi i architektami.-Dobre zarządzanie ryzykiem migracji klient-po-kliencie.-Jasna komunikacja statusu, blockerów i decyzji technicznych.-Myślenie produktowe: nie tylko dowieźć kod, ale stabilną ścieżkę migracji. Mile widziane-Databricks Certified Data Engineer Associate/Professional.-AWS Certified Data Analytics albo AWS Solutions Architect.-Doświadczenie z Unity Catalog i governance w środowisku enterprise.