Data Engineer | AWS & Databricks

BIX Tecnologia - Consultoria de Dados

Via inHire
RemotoPJA combinar
Postado 2 horas atrás

Sobre a vaga

Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time.

Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.

Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!

Vem fazer parte da BIX Tecnologia!

Seção:

  • AWS Services: Experiência sólida no provisionamento e uso de serviços AWS como DMS, S3, Glue, Athena, Kinesis, IAM (roles/policies), VPC/networking, etc.;
  • Arquitetura de streaming / NRT: Experiência no desenho de pipelines near-real-time, semantics de processamento (at-least-once / exactly-once) e trade-offs entre latência e consistência;
  • CDC (Change Data Capture): experiência com captura contínua de mudanças via redo logs, supplemental logging e replicação incremental;
  • Apache Kafka: experiência sólida e comprovada em produção;
  • Databricks: domínio de Spark, Structured Streaming, Delta Lake e arquitetura lakehouse (camadas bronze/prata/ouro), Unity Catalog, lineage e data quality frameworks;
  • SQL avançado e modelagem de dados relacional e dimensional;
  • Inglês avançado/fluente para atuação internacional.

Seção:

  • Orquestração: Airflow, Data Factory ou equivalente;
  • Kafka Connect / Debezium: conectores de CDC integrados ao Kafka;
  • Certificação nas clouds (AWS, GCP, Azure);
  • Certificação em ferramentas de Engenharia de Dados (Databricks, Clickhouse, Airflow, dentre outras).

Seção:

  • Projetar e implementar a migração de pipelines batch legados para uma arquitetura de streaming de dados em tempo real;
  • Configurar e operar captura de mudanças (CDC) na origem, replicando dados via AWS DMS para as camadas de streaming e lakehouse;
  • Modelar tópicos, partições e estratégias de serialização no Kafka, garantindo ordering, throughput e tolerância a falhas;
  • Desenvolver pipelines de ingestão e processamento no Databricks (Structured Streaming, Delta Lake), atendendo também demandas correntes da plataforma;
  • Garantir qualidade, observabilidade e governança dos dados em trânsito e em repouso;
  • Documentar arquitetura, decisões técnicas e realizar code review com o time;
  • Realizar reuniões com clientes, por meio de videoconferência, desenvolvendo os questionamentos estratégicos voltados ao seu negócio/processo, a cada início de projeto ou sprint;
  • Gerenciar atividades do projeto, utilizando métodos ágeis, de modo a garantir as entregas, a cada novo projeto.

Seção:

  • Trabalho 100% remoto;
  • Plataforma de terapia e nutricionistas online;
  • Plataforma de bem estar;
  • Plano de carreira acelerado;
  • Contato direto com líderes de grandes empresas;
  • Ambiente diferenciado (Hora BIX, integrações e Happy Hours, Programa de Mentoria, Reuniões 1on1);
  • Aulas on-line de inglês (cambly);
  • Folga no aniversário.
WhatsApp
Receba vagas pelo WhatsAppEntre no grupo e receba vagas diretamente no seu celular
Entrar no grupo →