Descrição da vaga
Vamos buscar o extraordinário juntos? 🚀
Nosso Data Lakehouse no Google Cloud já é uma realidade. O próximo passo da nossa evolução é a eficiência e a escalabilidade das transformações de dados.
Estamos buscando um Engenheiro de Dados Pleno com perfil hands-on para atuar em duas frentes principais:
Modernização da Orquestração: Migrar nossos fluxos de Airflow para Prefect, garantindo observabilidade e tratamento de falhas modernas.
Maturidade em dbt: Elevar o nível do nosso projeto dbt. Não queremos apenas rodar SQL; queremos aproveitar todo o potencial da ferramenta (Macros, Jinja, Testes Automatizados, Documentação e CI/CD).
Nossos princípios
Seção: Responsabilidades e atribuições
O seu papel será:
- Engenharia de Analytics (dbt): Refatorar e evoluir o projeto dbt, implementando boas práticas como macros reutilizáveis (Jinja), materializações incrementais eficientes e documentação de linhagem.
- Qualidade de Dados (Data Quality): Implementar testes automáticos (dbt tests / packages) para garantir a confiabilidade dos dados na ponta, impedindo que dados ruins cheguem aos dashboards.
- Orquestração Moderna: Realizar a migração técnica dos pipelines de Airflow para Prefect, integrando a execução dos modelos dbt dentro de fluxos resilientes.
- Otimização de BigQuery: Atuar no tunning de queries e modelos de dados para reduzir custos de processamento (FinOps) e melhorar a performance de entrega.
- Sustentação e CI/CD: Manter as esteiras de deploy automatizado para dados, garantindo que alterações no dbt ou no Prefect passem por validações antes da produção.
Seção: Requisitos e qualificações
O que esperamos que você tenha:
- Domínio de dbt (Core ou Cloud): Experiência comprovada indo além do básico. Você deve entender bem de estratégias de materialização (incremental, view, ephemeral), snapshots, seeds e testes.
- Google Cloud Platform (BigQuery): Proficiência em SQL para BigQuery (Partitioning, Clustering, Nested Fields).
- Python Sólido: Capacidade de escrever scripts limpos e modulares, essencial para trabalhar com o Prefect.
- Orquestração: Experiência com Airflow (para entender o legado) e desejo/experiência em trabalhar com Prefect.
- Git e Versionamento: Fluxo de trabalho colaborativo (Pull Requests, Code Review) é mandatório.
Diferenciais:
- Experiência implementando dbt Slim CI (Integração Contínua otimizada).
- Conhecimento avançado em Jinja Templating.
- Experiência migrando workflows de Airflow para Prefect.
- Conhecimento de ferramentas de "Data Observability".
- Conhecimento em BigData e soluções de paralelismo.
- Conhecimento com processamento Real-time.
- Conhecimento em soluções de Infraestrutura de Cloud (Kubernetes, CloudRun, CloudFunctions).
- Experiência em data stack na GCP.