Especialista Engenharia de Dados

Principais Responsabilidades: Projetar, desenvolver e evoluir pipelines de dados para ingestão, transformação e disponibilização de informações; Atuar na definição e evolução da arquitetura da plataforma de dados, incluindo arquitetura Lakehouse e Arquitetura Medalhão (Bronze, Silver e Gold); Desenvolver e otimizar soluções utilizando SQL, Python e PySpark; Atuar com Azure Databricks, Azure Data Lake Storage (ADLS Gen2), Delta Lake e Unity Catalog; Definir estratégias de particionamento, compactação e organização das tabelas, incluindo tratamento de problemas de small files; Monitorar e otimizar a performance de jobs, pipelines e consultas, identificando gargalos e oportunidades de melhoria; Desenvolver estratégias de ingestão batch e incremental e integrações com bancos de dados, APIs, sistemas corporativos e outras fontes; Apoiar a implementação de governança, segurança, qualidade, monitoramento e observabilidade dos pipelines; Avaliar impactos de arquitetura, escalabilidade, performance e custos das soluções; Definir e disseminar padrões e boas práticas de Engenharia de Dados; Apoiar tecnicamente engenheiros de dados e demais profissionais da área; Atuar em conjunto com Analytics na definição das estruturas e camadas disponibilizadas para consumo; Documentar arquiteturas, padrões, fluxos e decisões técnicas da plataforma.