Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.
Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.
Responsabilidades:
- Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks;
- Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real;
- Implementar e otimizar soluções utilizando Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid;
- Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks;
- Desenvolver soluções utilizando Python, SQL e PySpark, com foco em performance, escalabilidade e qualidade dos dados;
- Trabalhar com grandes volumes de dados estruturados e não estruturados;
- Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, utilizando Unity Catalog e seguindo os requisitos da LGPD;
- Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
- Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
- Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
- Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
- Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
Requisitos mínimos:
- Experiência sólida como Engenheiro(a) de Dados em ambiente Azure;
- Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions;
- Experiência sólida no desenvolvimento de pipelines ETL/ELT;
- Conhecimento avançado em Python e SQL;
- Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse;
- Conhecimento em Apache Spark ou PySpark;
- Experiência com versionamento utilizando Git e práticas de CI/CD, idealmente Azure DevOps;
- Conhecimento em particionamento, otimização de consultas e processamento distribuído;
- Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
- Conhecimento em arquitetura de dados em Cloud e boas práticas de segurança, governança e conformidade com a LGPD;
- Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.
Diferenciais:
- Experiência com Databricks Unity Catalog para governança e catalogação de dados;
- Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold);
- Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração;
- Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid);
- Experiência com integração de sistemas legados/ERP, como SAP, em pipelines de dados;
- Conhecimento em frameworks de qualidade de dados, como DQX, dbt e Great Expectations;
- Conhecimento em ingestão de dados em tempo real, como Event Hubs e Kafka;
- Experiência com Docker e Kubernetes (AKS);
- Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates);
- Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
- Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
- Certificações Azure e/ou Databricks, como DP-203 e Databricks Certified Data Engineer.
Modelo de trabalho:
- Localização: Campinas - SP
Modalidade: Remoto - Remoto, porém o candidato deve ter disponibilidade para participar de reuniões presenciais esporadicamente, quando necessário.
Modelo de Contratação : CLT ou PJ