About this role
O que buscamos
Buscamos um(a) Engenheiro(a) de Dados para atuar no projeto, integrando o time responsável pela construção, evolução e sustentação de soluções de dados em ambiente Cloud .
O profissional atuará no desenvolvimento de pipelines de dados escaláveis , processos de ingestão e transformação, arquitetura de dados e disponibilização de informações para consumo analítico, utilizando principalmente Databricks, Azure Data Factory, SQL e Python/PySpark .
Responsabilidades
- Desenvolver e manter pipelines de dados escaláveis, eficientes e confiáveis ;
- Atuar na ingestão, transformação e disponibilização de dados para consumo analítico;
- Desenvolver soluções de engenharia de dados utilizando Databricks ;
- Implementar e manter processos de integração e processamento de dados;
- Trabalhar com Azure Data Factory na orquestração de pipelines;
- Atuar na construção e evolução de arquiteturas de dados em ambiente Cloud ;
- Desenvolver processos de ETL/ELT ;
- Garantir a qualidade, governança, integridade e performance dos dados;
- Trabalhar com SQL e modelagem de dados ;
- Desenvolver soluções utilizando Python e/ou Spark (PySpark) ;
- Monitorar processos de integração e processamento de dados;
- Identificar e implementar melhorias de performance e eficiência;
- Colaborar com times de Engenharia, Analytics e áreas de negócio para entendimento de requisitos;
- Traduzir necessidades de negócio em soluções de dados;
- Contribuir para a evolução das soluções de dados relacionadas ao projeto de Reforma Tributária ;
- Atuar na sustentação e evolução das soluções desenvolvidas.
Requisitos Obrigatórios
- Experiência profissional em Engenharia de Dados ;
- Experiência ou conhecimento sólido em Databricks para processamento e engenharia de dados;
- Experiência com Azure Data Factory para orquestração de pipelines;
- Conhecimento em SQL ;
- Conhecimento em modelagem de dados ;
- Experiência com Python e/ou Spark (PySpark) ;
- Experiência em ambientes Cloud , preferencialmente Microsoft Azure ;
- Conhecimento em práticas de ETL/ELT ;
- Conhecimento em integração de dados ;
- Capacidade de desenvolver e manter pipelines de dados;
- Conhecimento em práticas de qualidade e performance de dados.
Diferenciais
- Experiência com arquiteturas modernas de dados, como Data Lake e Lakehouse ;
- Conhecimento em governança e qualidade de dados ;
- Experiência em ambientes com grande volume de dados ;
- Certificações Databricks , como:
Databricks Certified Data Engineer Associate;
- Databricks Certified Data Engineer Professional;
- Databricks Certified Data Analyst Associate;
- Databricks Certified Machine Learning Associate;
- Databricks Certified Machine Learning Professional;
- Experiência em projetos dos segmentos financeiro, bancário, segurador ou contábil ;
- Conhecimento em Data Management ;
- Experiência com Data Analysis .
Competências Comportamentais
- Perfil analítico e orientado à resolução de problemas;
- Organização e atenção à qualidade dos dados;
- Proatividade na identificação e implementação de melhorias;
- Boa comunicação e colaboração com equipes multidisciplinares;
- Capacidade de compreender requisitos técnicos e de negócio;
- Senso de responsabilidade e comprometimento com as entregas;
- Capacidade de atuar em ambientes complexos e de grande volume de dados.