Offer summary

Qualifications:

Minimum 4 years of experience as a Data Engineer or similar role., Practical knowledge of ETL/ELT processes and data streaming., Proficiency in SQL and data quality assurance with automated validation skills., Familiarity with DevOps practices, CI/CD, Terraform, Docker, and Kubernetes. .

Key responsabilities:

Design and build modern data layers in the form of Data Hubs for analytical systems and AI.

Collaborate with data architects, AI engineers, and business teams using Agile methodologies.

Process real-time data using streaming solutions and update AI models.

Ensure data quality through validation mechanisms, anomaly detection, and monitoring.

Job description

💰 100 - 150 zł/h (B2B) + VAT

📍 zdalnie, okazjonalne wizyty biurze - Warszawa

🌐 Databricks, Azure Data Factory, Azure sql, Azure Synapse, Python, SQL, Terraform, Docker, Kubernetes, Azure data lake storage

Wspólnie z naszym Partnerem, dynamicznie rozwijającą się organizacją w branży ubezpieczeniowej poszukujemy eksperta/ki na pozycję Senior Data Engineer. ✨

Dołącz do projektu i bądź odpowiedzialny za budowę nowoczesnej warstwy danych w postaci Data Hubów, które staną się centralnym źródłem dla systemów analitycznych i AI. Dzięki architekturze mediacyjnej stworzymy skalowalną i elastyczną infrastrukturę, umożliwiającą integrację i przetwarzanie danych z różnych źródeł. Twoja rola obejmie projektowanie, transformację i udostępnianie danych, ze szczególnym naciskiem na przetwarzanie w czasie rzeczywistym, jakość danych oraz automatyzację procesów zgodnie z zasadami DevOps i CI/CD.

Współpraca i Agile w kooperacji z architektami danych, inżynierami AI oraz zespołami biznesowymi w metodyce Scrum.
Przetwarzanie danych w czasie rzeczywistym z wykorzystaniem rozwiązań strumieniowych i aktualizacji modeli AI.
Budowa i optymalizacja potoków danych (ETL/ELT) dla integracji, transformacji i przechowywania danych.
Zapewnienie jakości danych poprzez mechanizmy walidacji, wykrywania anomalii i monitorowania.
Automatyzacja i CI/CD w celu usprawnienia przepływów danych i wdrażania rozwiązań DevOps.
Tworzenie i implementacja skalowalnych Data Hubów wspierających potrzeby organizacji.

🔍 CZEGO OCZEKUJEMY OD CIEBIE?

Minimum 4-letnie doświadczenie na stanowisku Data Engineer lub podobne.
Praktyczna znajomość ETL/ELT i przetwarzania danych obejmująca projektowanie potoków oraz strumieniowe przetwarzanie danych.
Biegłość w SQL i zapewnieniu jakości danych z umiejętnością automatycznej walidacji i monitorowania danych.
Znajomość DevOps & automatyzacji z wykorzystaniem CI/CD, Terraform, Docker, Kubernetes/AKS.
Znajomość programowania w Pythonie lub innym języku odpowiednim dla inżynierii danych.
Doświadczenie z chmurą i usługami Azure (Data Factory, ADLS, Azure SQL).
Znajomość języka angielskiego na poziomie minimum B2 w mowie i piśmie

✨ OFERUJEMY:

Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
Współpraca z ekspertami w branży AI i Big Data, co pozwala na rozwój umiejętności w nowoczesnych technologiach.
Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
5000 PLN za polecenie znajomego do naszych projektów.
Dostęp do najnowszych technologii i narzędzi pracy.
Szybki i zdalny proces.
Praca 100% zdalna.

📌 PRZEBIEG PROCESU: