Senior Data Engineer (Python / Azure)

Czym będziesz się zajmować? Zakres obowiązków: Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta Oferujemy: Prywatną opiekę medyczną Dofinansowanie karty sportowej Stałe wsparcie konsultanta Program rekomendacji pracowników Kogo poszukujemy? Wymagania: Minimum 5 lat komercyjnego doświadczenia w data engineeringu Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem Mile widziane: Znajomość Infrastructure as Code: Terraform lub Bicep Znajomość projektowania modeli danych na potrzeby Power BI Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API Congress.gov lub UK Parliament Czego wymagamy? 5 lat doświadczenia na podobnym stanowisku Znajomości: Python ETL Data modeling Zarządzanie procesami biznesowymi QA Mile widziane: SQL REST Azure Azure Data Factory Azure Functions Azure SQL Databricks Git CI/CD Dokumentacja projektowa Języki: Angielski Polski Jakie warunki i benefity otrzymasz? 25.2k–30.2k PLN netto/m (B2B) B2B - Elastyczne godziny pracy (100%) Praca zdalna: W całości Pakiet medyczny, Pakiet sportowy Kim jesteśmy? DCG to przestrzeń, w której spotykają się potrzeby biznesu i ambicje ludzi. Znamy wartość dobrze dopasowanej współpracy, dlatego pomagamy kandydatom znaleźć środowisko, w którym będą mogli rozwinąć skrzydła, a firmom - zbudować zespoły, które naprawdę działają. Pracujemy blisko ludzi i organizacji, uważnie słuchając i reagując na to, co dla nich ważne. Dzięki temu wspólnie tworzymy trwałe i wartościowe relacje, które procentują na lata.