Na CI&T, você terá a oportunidade de contribuir para soluções de dados que apoiam a transformação de grandes empresas. Como Engenheiro(a) de Dados, você ajudará a garantir a integridade, a consistência e a eficiência dos modelos de dados em todo o ecossistema. Se você reside na Região Metropolitana de Campinas, a presença nos escritórios da cidade é obrigatória, conforme a política de frequência vigente.
Responsabilidades
- Desenvolver e manter pipelines ETL/ELT em Azure, usando Databricks para processamento e integração de dados
- Analisar os impactos das soluções no projeto como um todo
- Automatizar implantações e versionar código com práticas de CI/CD e GitHub
- Modelar e evoluir tabelas no Unity Catalog, aplicando padrões de nomenclatura e versionamento de esquemas
- Projetar e otimizar modelos de dados com foco em escalabilidade, desempenho e governança
- Apoiar migrações para a nuvem, zelando pela segurança, qualidade e integridade dos dados
- Colaborar com equipes de negócio e ciência de dados na implantação de modelos de IA em ambientes de nuvem
- Aplicar técnicas de perfilamento e monitoramento para assegurar a qualidade e a consistência dos dados
- Documentar processos, arquiteturas e boas práticas de engenharia de dados
Requisitos obrigatórios
- Experiência sólida com Azure Data Services e Databricks, incluindo PySpark
- Domínio de Python e SQL para manipulação e transformação de dados
- Experiência com arquitetura medalhão e pipelines ETL/ELT para integração de grandes volumes de dados
- Conhecimento de CI/CD e versionamento com GitHub
- Conhecimento de modelagem analítica nas camadas de ingestão, preparação e consumo
- Vivência em projetos de migração para a nuvem
- Experiência com implantação de modelos de IA e ferramentas como Azure ML
- Experiência em projetos de IA e automação de pipelines
Diferenciais
- Conhecimento de arquiteturas orientadas a dados e boas práticas de governança
- Vivência em projetos do contexto financeiro
- Participação em iniciativas de gestão de dados mestres (MDM)
- Familiaridade com Databricks MLflow para gestão de modelos
- Atuação em ambientes de lago de dados e armazém de dados
O que esperamos
Esperamos que você contribua com visão integrada, atenção à qualidade e capacidade de colaborar com diferentes equipes. Sua atuação ajudará a construir soluções de dados confiáveis, bem governadas e preparadas para apoiar iniciativas de IA.
