Engenheiro(a) de Dados Pleno | Databricks
Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks, Python e PySpark para atuar no desenvolvimento e evolução de soluções de dados em ambientes de missão crítica.
Buscamos um profissional com boa capacidade analítica, perfil colaborativo e interesse em desenvolver soluções escaláveis, de alta qualidade e orientadas à performance.
Responsabilidades
- Desenvolver pipelines de dados utilizando Databricks, Python, PySpark e Spark SQL.
- Implementar processos batch e streaming para integração e transformação de dados.
- Desenvolver componentes reutilizáveis seguindo boas práticas de engenharia de software.
- Participar da evolução e manutenção de pipelines críticos de negócio.
- Desenvolver integrações utilizando APIs REST.
- Atuar na correção de incidentes, otimização de processos e melhoria contínua das soluções.
- Trabalhar em conjunto com arquitetos, engenheiros e equipes de negócio utilizando metodologias ágeis.
Requisitos
- Experiência com Databricks em projetos de Engenharia de Dados.
- Conhecimento em Python, PySpark e Spark SQL.
- Conhecimento de Apache Spark, incluindo particionamento, joins, cache, persistência e boas práticas de desenvolvimento.
- Conhecimento em bancos de dados relacionais e NoSQL.
- Experiência no desenvolvimento e consumo de APIs REST.
- Experiência com Git.
- Conhecimento em Azure, preferencialmente Azure Databricks, Azure Data Factory e Azure Storage.
- Noções de CI/CD e versionamento de código.
- Conhecimento em desenvolvimento orientado a objetos.
- Vivência com metodologias ágeis.
Diferenciais
- Experiência em instituições financeiras.
- Conhecimento em Kubernetes (AKS).
- Experiência com Jenkins, SonarQube ou ferramentas similares.
- Conhecimento em Kedro.
- Experiência com Cloudera ou Hadoop.
- Conhecimento em Databricks sobre AWS.
- Experiência com orquestradores de workflow, como Maestro ou Control-M.
Certificações
- Certificação Databricks Data Engineer Associate será considerada um diferencial.
- Caso ainda não possua a certificação, espera-se disponibilidade para obtê-la durante o desenvolvimento profissional.
- Certificações Microsoft Azure (AZ-900 e DP-900) serão consideradas diferenciais.
Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.
Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/
Ref: fa5752
#LI-JO1
#LI-Hybrid
