Nesta posição de Desenvolvedor(a) de Dados Sênior, você vai criar e manter pipelines de dados robustos no Databricks, integrando informações de diferentes fontes e apoiando decisões de negócio e análises. Você também terá espaço para orientar colegas e colaborar com equipes multidisciplinares, contribuindo para a qualidade e a confiabilidade dos dados.
Responsabilidades
- Desenvolver e manter pipelines de dados em larga escala
- Integrar e transformar dados de APIs, bancos de dados relacionais, arquivos e outras fontes
- Trabalhar com equipes de negócio e analytics para entender requisitos de dados
- Promover qualidade, confiabilidade, segurança e governança dos dados ingeridos
- Aplicar práticas de DataOps, incluindo versionamento de código, testes de dados e CI/CD
- Documentar processos e boas práticas de engenharia de dados
- Oferecer orientação técnica e apoiar o desenvolvimento de colegas
Requisitos obrigatórios
- Experiência comprovada na criação e gestão de pipelines de dados em Databricks, com PySpark, Delta Lake e SQL
- Domínio de Python e SQL para processamento e transformação de dados
- Conhecimento sólido de ETL/ELT, data warehousing e processamento distribuído
- Experiência prática com Git, pipelines de CI/CD, testes automatizados e infraestrutura como código
- Familiaridade com AWS, Azure ou GCP e serviços de dados relacionados
- Capacidade de investigar e solucionar problemas de desempenho, escalabilidade e confiabilidade
- Inglês avançado
Diferenciais
- Experiência com contratos de dados, evolução de esquemas e compatibilidade entre serviços
- Conhecimento de ferramentas de qualidade de dados, como Great Expectations, Soda, testes do dbt ou soluções próprias
- Experiência com integração ao Power BI
O que esperamos
Esperamos que você combine profundidade técnica em engenharia de dados com uma abordagem colaborativa e atenção à qualidade. Sua contribuição ajudará a construir soluções de dados confiáveis e alinhadas às necessidades estratégicas da organização.
