Engenheiro de Dados Sênior

Resumo da posição

Posição buscamos uma pessoa Engenheira de Dados para atuação com engenharia de dados e forte componente de desenvolvimento  para manutenção/evolução de serviços de backend e migração de sistemas legados para arquitetura moderna de dados, num ambiente de dados financeiros sensíveis (LGPD).

Responsabilidades

• Construir e manter pipelines de dados escaláveis (ingestão, transformação, consumo) em arquitetura medalhão / Lakehouse;
• Trabalhar na fronteira dados + backend, incluindo manutenção/evolução e migração de serviços legados em Java/Spring Boot para arquitetura moderna de dados;
• Processamento com Spark (batch e streaming), incluindo Structured Streaming com Kafka;
• Garantir qualidade, governança e segurança dos dados: controle de acesso por catálogo/schema, mascaramento de PII, aderência à LGPD, quality checks, testes unitários e de integração;
• Orquestração e agendamento de jobs (Airflow / Lakeflow Jobs), logging estruturado, monitoramento e observabilidade;
• Otimização de performance e custos; aplicar boas práticas de engenharia de software (SOLID, design patterns, código limpo/manutenível);
• Colaborar com líderes técnicos, stakeholders de negócio e times multidisciplinares.

Requisitos (obrigatórios)

• Experiência sênior em engenharia de dados com Spark / PySpark (e, de preferência, Databricks — Unity Catalog, Delta, DLT/declarative pipelines, Lakeflow Jobs);
• Java / Spring Boot — backend, microsserviços, arquitetura orientada a eventos;
• Python;
• Kafka / streaming de dados;
• Google Cloud Platform (GCP) — incluindo BigQuery e serviços de dados do ecossistema GCP (ex.: Dataproc/Dataflow, Cloud Composer/Airflow, Pub/Sub, GCS);
• Modelagem de dados (star schema), SQL e bancos relacionais;
• Governança/qualidade de dados e boas práticas de LGPD.

Diferenciais

• Conhecimento de programação reativa com Vert.X ou Webflux;
• Certificação Databricks (Data Engineer Associate/Professional);
• Experiência em setor financeiro / regulado (birô de crédito);
• IaC (Terraform) e ownership de esteira CI/CD;
• Docker/Kubernetes, Great Expectations, observabilidade (Grafana/Prometheus);
• Cloud: AWS (S3, Glue, Athena, MWAA) e/ou Azure (Data Factory, Synapse, Event Hub).