Engenheiro(a) de Dados Sênior | AWS
Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | AWS para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.
Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambientes Cloud, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.
Responsabilidades
- Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços da AWS;
- Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT);
- Implementar e otimizar soluções utilizando AWS Glue, S3, Lambda, Athena, Redshift, EMR, Step Functions e EventBridge;
- Projetar, implementar e sustentar Data Lakes e arquiteturas modernas de dados em ambiente AWS;
- Desenvolver soluções utilizando Python e SQL, com foco em performance, escalabilidade e qualidade dos dados;
- Trabalhar com grandes volumes de dados estruturados e não estruturados;
- Garantir a qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline;
- Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
- Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
- Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
- Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
- Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
Requisitos mínimos
- Experiência sólida como Engenheiro(a) de Dados em ambientes AWS;
- Domínio dos principais serviços AWS utilizados em arquiteturas de dados, como S3, Glue, Athena, Redshift, Lambda, EMR e IAM;
- Experiência sólida no desenvolvimento de pipelines de dados utilizando ETL/ELT;
- Experiência com Apache Spark/PySpark e Delta Lake;
- Conhecimento avançado em Python e SQL;
- Experiência com modelagem de dados para ambientes analíticos e Data Lakes;
- Conhecimento em Infraestrutura como Código (IaC), utilizando AWS CloudFormation ou Terraform;
- Experiência com controle de versão utilizando Git e práticas de CI/CD;
- Conhecimento em particionamento, otimização de consultas e processamento distribuído;
- Experiência com monitoramento, observabilidade e troubleshooting de pipelines de dados;
- Conhecimento em arquitetura de dados em Cloud e boas práticas de segurança e governança de dados;
- Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.
Diferenciais
- Experiência com Databricks em ambiente AWS;
- Conhecimento em Apache Airflow ou outras ferramentas de orquestração de workflows;
- Experiência com arquiteturas orientadas a eventos (Event-Driven Architecture);
- Conhecimento em Apache Iceberg ou Apache Hudi;
- Experiência com Docker e Kubernetes;
- Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
- Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
- Certificações AWS voltadas para Data Engineer, Data Analytics ou Solutions Architect.
Modelo de trabalho
- Localização: Campinas - SP
Modalidade: Remoto - Remoto, porém o candidato deve ter disponibilidade para participar de reuniões presenciais esporadicamente, quando necessário.
Modelo de Contratação : CLT ou PJ