Nesta oportunidade, você trabalhará com engenharia de dados e Databricks para transformar dados de migração em informações confiáveis e prontas para uso. Você fará parte de uma equipe que desenvolve soluções de tecnologia e inteligência artificial para gerar impacto real nos negócios.
Responsabilidades
- Criar pipelines de ingestão no Databricks com arquitetura medalhão, utilizando Auto Loader e Delta Lake
- Desenvolver processos de reconciliação entre versões de dados, incluindo contagens, comparações de campos, mapeamento de tabelas e aplicação de regras de validação em larga escala
- Modelar a camada gold para relatórios sobre taxas e motivos de aprovação e rejeição, com visões segmentadas por cluster e objeto
- Disponibilizar resultados por meio de uma API para uma aplicação web e documentar seu contrato
- Configurar permissões, linhagem e auditoria de dados no Unity Catalog
- Orquestrar processos com Workflows ou Jobs, incluir verificações de qualidade e gerenciar o controle de versão com Databricks Asset Bundles
Requisitos obrigatórios
- Experiência em engenharia de dados, com pelo menos dois anos de uso de Databricks, incluindo PySpark, Delta Lake, Unity Catalog e Workflows
- Conhecimento avançado de SQL e Python
- Experiência com reconciliação ou validação de dados em projetos de migração
- Conhecimento de estruturas de dados SAP
- Experiência na elaboração de relatórios baseados em dados de sistemas
- Inglês avançado para conversação
Diferenciais
- Familiaridade com práticas de qualidade, governança e linhagem de dados
- Experiência na criação de APIs para disponibilizar dados a aplicações web
O que esperamos
Esperamos que você aplique sua experiência em engenharia de dados para desenvolver pipelines, validações e relatórios confiáveis. Sua atenção à qualidade dos dados e sua capacidade de colaborar em inglês serão importantes para contribuir com as soluções do time.
