Engenheiro de Dados
Sênior.

Sobre a vaga 

O projeto Databricks e MCCD tem como objetivo criar a fundação de dados. A iniciativa busca evoluir de uma execução predominantemente manual para pipelines automatizados, confiáveis e monitorados, usando Databricks para organizar e processar dados desde a ingestão das fontes até a disponibilização de informações e produtos de dados.

A arquitetura deverá permitir a expansão gradual para novos processos, com reutilização de fontes, conectores, regras e domínios de dados. O foco inicial é estabelecer uma base técnica segura, rastreável e sustentável, que não dependa do conhecimento individual para ser operada.

Principais responsabilidades

• Desenvolver e automatizar a ingestão das fontes de dados mapeadas na plataforma Databricks.
• Persistir, processar e transformar dados com Python e PySpark.
• Organizar os dados em arquitetura medalhão, da camada bruta às camadas tratadas e prontas para consumo.
• Criar e manter pipelines orquestrados, monitorados e preparados para lidar com falhas e reprocessamentos.
• Implementar logs, alertas, validações de qualidade e reconciliações de dados.
• Contribuir para a governança de acesso, a segregação de ambientes e o tratamento adequado das informações.
• Assegurar a rastreabilidade entre as fontes, as transformações e os dados disponibilizados.
• Documentar fontes, layouts, regras, linhagem e procedimentos técnicos e operacionais.
• Identificar oportunidades para reutilizar fontes e dados comuns entre processos, evitando ingestões e tratamentos duplicados.
• Acompanhar a observabilidade e os custos da plataforma, apoiando sua evolução sustentável.
• Trabalhar com as áreas envolvidas para priorizar a expansão da solução conforme o valor para o negócio, a maturidade do mapeamento e as dependências técnicas.

Requisitos

• Experiência em engenharia de dados e desenvolvimento de pipelines.
• Experiência com Databricks e PySpark.
• Conhecimento de Python e Apache Spark.
• Conhecimento de arquitetura medalhão e organização de dados em camadas.
• Experiência com ingestão, persistência, transformação e disponibilização de dados.
• Conhecimento de orquestração, monitoramento, logs e tratamento de falhas em pipelines.
• Vivência com práticas de qualidade, validação e reconciliação de dados.
• Conhecimento de governança, controle de acesso e segurança de dados.
• Capacidade de produzir documentação técnica e operacional clara.
• Experiência na construção ou evolução de data lakes ou plataformas analíticas em Databricks.
• Gestão de features 
• Apresentações coorporativas 
• Gestão de roadmap técnico 

Diferenciais

• Familiaridade com Delta Lake e recursos relacionados do ecossistema Databricks.
• Experiência com observabilidade e otimização de custos em plataformas de dados.
• Familiaridade com práticas de CI/CD e gestão de ambientes de dados.

Cultura na BRQ 

Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.

Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/ 

Vaga c6effe

#LI-Remote

#LI-WL1