Engenheiro de Dados SR (GCP)

Resumo da vaga:

Buscamos uma pessoa Engenheira de Dados Sênior para atuar na construção, evolução e sustentação de plataformas modernas de dados em Google Cloud Platform (GCP).

Essa posição combina Engenharia de Dados e Desenvolvimento de Software, exigindo experiência sólida tanto na criação de pipelines de dados robustos e escaláveis quanto no desenvolvimento e modernização de serviços backend utilizando Java e Spring Boot.

A pessoa profissional terá papel importante na evolução de arquiteturas de dados modernas, migração de sistemas legados e garantia de ambientes escaláveis, seguros, observáveis e bem governados, atuando em um contexto com alto volume de dados, requisitos de segurança e conformidade.

Buscamos alguém com sólida experiência em Spark, PySpark, Databricks e GCP, além de bons fundamentos de Engenharia de Software e capacidade para transitar entre os universos de dados e desenvolvimento backend.

Responsabilidades e atribuições:

• Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis em Google Cloud Platform (GCP).

• Trabalhar com serviços do ecossistema de dados do GCP, incluindo:

  • BigQuery;

  • Dataproc;

  • Dataflow;

  • Cloud Composer / Airflow;

  • Pub/Sub;

  • Cloud Storage.

• Construir e evoluir arquiteturas modernas de dados utilizando conceitos de Lakehouse e Arquitetura Medalhão.

• Processar grandes volumes de dados utilizando Spark e PySpark.

• Desenvolver e manter soluções utilizando Databricks, incluindo recursos como:

  • Unity Catalog;

  • Delta Lake;

  • pipelines declarativos / DLT;

  • orquestração e execução de jobs.

• Construir pipelines de ingestão e processamento de dados em tempo real utilizando Kafka e Structured Streaming.

• Desenvolver, manter e modernizar aplicações e serviços backend utilizando Java e Spring Boot.

• Trabalhar com microsserviços e arquiteturas orientadas a eventos.

• Apoiar e conduzir processos de migração de aplicações e serviços legados para plataformas modernas de dados.

• Aplicar boas práticas de Engenharia de Software, incluindo:

  • Programação Orientada a Objetos;

  • programação funcional;

  • SOLID;

  • Design Patterns;

  • Clean Code;

  • otimização de performance;

  • gestão de débito técnico.

• Garantir qualidade, governança e segurança dos dados ao longo de todo o pipeline.

• Implementar controles de acesso em nível de catálogo, schema e tabela.

• Trabalhar com proteção e mascaramento de dados sensíveis e PII, garantindo conformidade com a LGPD.

• Desenvolver testes unitários, testes de integração e validações de qualidade de dados.

• Utilizar ferramentas e frameworks de Data Quality, como Great Expectations ou similares.

• Implementar práticas de logging estruturado, monitoramento e observabilidade.

• Atuar em troubleshooting de ambientes produtivos, análise de incidentes e identificação de causa raiz.

• Trabalhar com modelagem de dados, incluindo Star Schema e modelos analíticos.

• Desenvolver consultas e otimizações utilizando SQL.

• Trabalhar com bancos de dados relacionais e ambientes distribuídos.

• Participar da evolução técnica das plataformas e das decisões relacionadas à arquitetura de dados.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em ambientes corporativos de grande porte.

• Experiência prática com Google Cloud Platform (GCP).

• Conhecimento avançado em BigQuery.

• Experiência com serviços de dados do GCP, como Dataproc, Dataflow, Cloud Composer, Pub/Sub e Cloud Storage.

• Experiência sólida com Spark e PySpark.

• Experiência prática com Databricks.

• Conhecimento de Delta Lake, Unity Catalog e pipelines de dados em Databricks.

• Experiência com processamento de dados em streaming utilizando Kafka.

• Experiência sólida em desenvolvimento de software utilizando Java e Spring Boot.

• Experiência com desenvolvimento de APIs, microsserviços e arquiteturas orientadas a eventos.

• Conhecimentos sólidos de Engenharia de Software e boas práticas de desenvolvimento.

• Experiência com SQL e bancos de dados relacionais.

• Conhecimento em modelagem de dados e arquitetura analítica.

• Experiência com testes de software e qualidade de dados.

• Conhecimento de práticas de governança, segurança e controle de acesso a dados.

• Conhecimento de LGPD e proteção de dados sensíveis.

• Experiência com monitoramento, observabilidade e troubleshooting de ambientes produtivos.

• Boa capacidade analítica e de resolução de problemas.

• Boa comunicação para interação com times técnicos e áreas de negócio.

• Inglês avançado.

Desejáveis:

• Certificações Databricks Data Engineer Associate ou Professional.

• Experiência em setores regulados, financeiros, seguros ou ambientes com dados sensíveis.

• Conhecimento de Terraform e Infrastructure as Code (IaC).

• Experiência com construção e manutenção de pipelines de CI/CD.

• Conhecimento de Docker e Kubernetes.

• Experiência com ferramentas de observabilidade como Grafana e Prometheus.

• Experiência com outras plataformas de cloud, como AWS ou Microsoft Azure.

• Vivência com metodologias ágeis, como Scrum ou Kanban.

• Inglês técnico para leitura de documentação e interação com times internacionais.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.