Data Engineer (GCP)

Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku z sukcesem tworzymy oraz rozwijamy oprogramowanie dla naszych klientów.

Specjalizujemy się w wytwarzaniu oprogramowania w oparciu o metodyki Agile i DevOps - od etapu analizy, przez implementację, aż po dalszy rozwój produktu. Tworzymy aplikacje backendowe, frontendowe oraz mobilne.

Dla jednego z naszych klientów z branży bankowej poszukujemy Data Engineer.

Zakres świadczonej usługi

• projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
• migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;
• projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów;
• projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;
• analizę danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;
• tworzenie, analizę i strojenie zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;
• analizę istniejących procesów Informatica PowerCenter i migrację do rozwiązań docelowych w GCP;
• implementację logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;
• wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
• przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
• przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;
• diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych z przetwarzaniem i jakością danych;
• tworzenie i aktualizację dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.

Oczekiwane rezultaty realizowanych usług

• działające, przetestowane i udokumentowane pipeline’y oraz procesy przetwarzania danych w GCP, zgodne z wymaganiami funkcjonalnymi i technicznymi;
• poprawnie zmigrowane lub przebudowane procesy i struktury danych z Oracle/on-premise do GCP, z zachowaniem kompletności, spójności i jakości danych;
• zoptymalizowane struktury BigQuery i zapytania SQL spełniające uzgodnione wymagania w zakresie wydajności, skalowalności i racjonalnego wykorzystania zasobów;
• poprawnie działające mechanizmy wymiany danych wykorzystujące Cloud Storage i Pub/Sub, odpowiednio do architektury rozwiązania;
• przygotowane elementy niezbędne do ich migracji w kontekście zastąpienia WorkFlowów Informatica PowerCenter;
• przygotowanie kompletnej dokumentacji nowego rozwiązania
• przygotowane i wykonane testy oraz udokumentowane wyniki weryfikacji rozwiązania;
• komplet kodu, konfiguracji, instrukcji wdrożenia i dokumentacji technicznej utrzymywany w repozytorium i objęty obowiązującym procesem CI/CD;
• zdiagnozowane i usunięte błędy dotyczące wdrożonych komponentów wraz z analizą przyczyn, jeśli jest wymagana.

Wymagane doświadczenie

• Odpowiadającym poziomowi Middle Data Engineer. Oczekiwane jest komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
• Wykonawca usługi powinien posiadać praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych. Wymagane jest również doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.

Benefity:

• Długofalowa współpraca
• Pakiet benefitów – Multisport, prywatna opieka medyczna, ubezpieczenie na życie
• Budżet szkoleniowy
• Bezpłatne lekcje angielskiego
• Indywidualne wsparcie ze strony dedykowanego opiekuna firmy