About this role
O que buscamos:
Estamos em busca de um profissional Data Engineer L3 para atuar em projetos de Big Data e Data Engineering , no setor financeiro, utilizando Apache Spark, PySpark, SQL e Databricks , contribuindo para o desenvolvimento, evolução e otimização de pipelines e processos de dados.
Responsabilidades:
O profissional atuará em conjunto com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio , com foco em escalabilidade, performance, qualidade, governança e eficiência dos processos de dados.
- Desenvolver, implementar e manter pipelines de dados (ETL/ELT) utilizando Apache Spark, PySpark e SQL;
- Trabalhar com Delta Lake , garantindo qualidade, integridade e performance dos dados;
- Criar e otimizar jobs e workflows no Databricks , com foco em escalabilidade, desempenho e eficiência;
- Implementar controles de qualidade, monitoramento e rastreabilidade dos dados ;
- Atuar na análise e resolução de problemas relacionados aos pipelines e processamento de dados;
- Aplicar boas práticas de desenvolvimento, versionamento, testes e CI/CD ;
- Otimizar processamento e consumo de recursos Cloud, buscando eficiência técnica e financeira;
- Trabalhar de forma integrada com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio ;
- Apoiar a evolução da arquitetura e dos processos de Big Data e Data Engineering .
Requisitos :
- Experiência com Databricks ;
- Experiência com Azure Databricks para desenvolvimento e processamento de dados;
- Conhecimento de Azure Data Factory (ADF) para integração e orquestração de pipelines;
- Experiência com integração entre Databricks e serviços Azure ;
- Conhecimento de Unity Catalog , incluindo catálogo, schemas, permissões e governança de dados;
- Conhecimento de mecanismos de autenticação e autorização Azure, incluindo Microsoft Entra ID, Managed Identities e Service Principals ;
- Experiência com Git e CI/CD , preferencialmente utilizando Azure DevOps;
- Conhecimento de práticas de Data Quality , monitoramento, tratamento de erros e observabilidade de pipelines;
- Capacidade de realizar troubleshooting e otimização de performance de processos Spark e Databricks;
- Conhecimento de boas práticas de segurança, governança e controle de acesso aos dados ;
- Conhecimento de otimização de custos em Azure e Databricks , considerando clusters, capacidade computacional, armazenamento e execução de workloads.
Desejável / Diferencial
- Conhecimento no mercado financeiro ;
- Unity Catalog
- Azure DevOps
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas ;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo ;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT