Engenheiro(a) de Dados Sênior Databricks

Resumo da vaga:

Estamos em busca de uma pessoa Engenheiro(a) de Dados Sênior com sólida experiência em Databricks, para atuar na construção, evolução e sustentação de soluções modernas de dados em ambientes de alta volumetria e complexidade.

Buscamos uma pessoa com forte conhecimento técnico, visão de arquitetura e preocupação com qualidade, performance e escalabilidade. O profissional atuará em conjunto com times multidisciplinares na criação de pipelines, processamento e disponibilização de dados para consumo analítico e demais soluções de negócio.

Responsabilidades e atribuições:

• Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks;
• Construir soluções de processamento de dados utilizando Apache Spark e PySpark;
• Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;
• Desenvolver e manter processos de ingestão, transformação e disponibilização de dados;
• Atuar na construção e evolução de arquiteturas Data Lake e Lakehouse;
• Desenvolver e otimizar consultas utilizando SQL;
• Implementar boas práticas de qualidade, governança e segurança de dados;
• Realizar análise e otimização de performance de jobs, pipelines e consultas;
• Apoiar definições técnicas e arquiteturais relacionadas à plataforma de dados;
• Implementar processos de monitoramento e tratamento de falhas nos pipelines;
• Trabalhar com versionamento de código e processos de CI/CD;
• Participar de cerimônias ágeis e atuar de forma colaborativa com Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;
• Apoiar tecnicamente profissionais do time, contribuindo com boas práticas e evolução das soluções;
• Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior;
• Experiência comprovada com Databricks;
• Domínio de Apache Spark e PySpark;
• Experiência avançada com SQL;
• Conhecimento em Delta Lake;
• Experiência na construção e manutenção de pipelines ETL/ELT;
• Conhecimento de arquiteturas Data Lake, Lakehouse e/ou Data Warehouse;
• Experiência com processamento de grandes volumes de dados;
• Conhecimento em modelagem e transformação de dados;
• Experiência com Git e práticas de CI/CD;
• Conhecimento de boas práticas de segurança, governança e qualidade de dados;
• Capacidade de análise de performance e troubleshooting de pipelines;

Desejáveis:

• Experiência com Databricks Unity Catalog;
• Conhecimento de Databricks Workflows/Jobs;
• Experiência com Medallion Architecture (Bronze, Silver e Gold);
• Conhecimento em Python para Engenharia de Dados;
• Experiência com serviços de dados em AWS, Azure ou GCP;
• Conhecimento em ferramentas de orquestração, como Apache Airflow ou Azure Data Factory;
• Experiência com infraestrutura como código, como Terraform;
• Certificações relacionadas ao Databricks ou plataformas Cloud;
• Experiência em ambientes de alta volumetria e soluções críticas de dados.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.