Data Engineer | Kafka & Snowflake

BIX Tecnologia - Consultoria de Dados

Via inHire
RemotoPJA combinar
Postado 4 horas atrás

Sobre a vaga

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time.

Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.

Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!

Vem fazer parte da BIX Tecnologia!

O que esperamos que você tenha:

  • AWS Services: Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc;
  • Arquitetura de streaming / NRT:  Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
  • CDC (Change Data Capture): Experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
  • Apache Kafka: experiência sólida e comprovada em produção;
  • Streaming / event-driven: Domínio de arquiteturas orientadas a eventos e dos trade-offs entre latência, throughput e consistência;
  • Snowflake: experiência prática de ingestão e modelagem no Snowflake;
  • SQL avançado e modelagem de dados: relacional e dimensional;
  • IaC & CI/CD: Terraform e esteiras de deploy para provisionar e versionar infraestrutura de streaming;
  • Inglês avançado/fluente para atuação internacional.

Desejáveis

  • Orquestração: Airflow, Data Factory ou equivalente;
  • Snowpipe / Snowpipe Streaming: Experiência com ingestão contínua nativa do Snowflake será um diferencial forte;
  • Kafka Connect / Debezium: Conhecimento em conectores de CDC integrados ao Kafka;
  • Certificação em Snowflake.

O que você fará em seu dia a dia:

  • Pipelines de streaming: projetar, construir e manter pipelines de ingestão em tempo real ponta a ponta, de fontes transacionais e eventos até o Snowflake;
  • Kafka: modelar tópicos, particionamento e retenção; implementar producers/consumers, gerenciar schema evolution e garantir semânticas de entrega adequadas (at-least-once / exactly-once conforme o caso);
  • CDC e integração de fontes: capturar mudanças de sistemas de origem (incluindo SAP e bancos transacionais) e transformá-las em fluxos de eventos consumíveis;
  • Ingestão no Snowflake: operacionalizar a carga contínua no Snowflake com padrões de ingestão near-real-time, minimizando latência e custo;
  • Confiabilidade e qualidade: implementar tratamento de falhas, dead-letter queues, idempotência, backpressure e validação de dados em trânsito;
  • Observabilidade: instrumentar métricas de lag, throughput e freshness; definir alertas e SLOs para os fluxos de dados;
  • Colaboração global: trabalhar com o time central de plataforma e com as unidades de negócio (spokes), documentando contratos de dados e padrões de ingestão;
  • Documentar arquitetura, decisões técnicas e realizar code review com o time;
  • Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
  • Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto;

O que a BIX oferece para você:

  • Trabalho 100% remoto;
  • Plataforma de terapia e nutricionistas online;
  • Plataforma de bem estar;
  • Plano de carreira acelerado;
  • Contato direto com líderes de grandes empresas;
  • Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
  • Aulas on-line de inglês (cambly);
  • Folga no aniversário.
WhatsApp
Receba vagas pelo WhatsAppEntre no grupo e receba vagas diretamente no seu celular
Entrar no grupo →