About this role
O que buscamos:
Buscamos um(a) Engenheiro(a) de Dados Sênior para integrar o time de Lakehouse Platform , atuando na construção de um Enterprise Lakehouse baseado em Databricks , estruturado sob os princípios de Data Mesh . Procuramos um profissional com sólida experiência em plataformas de dados, governança, automação e arquitetura moderna, capaz de contribuir na definição dos padrões, frameworks e fundações tecnológicas que suportarão a estratégia de dados da organização.
Responsabilidades:
- Colaborar na construção e evolução da plataforma Enterprise Lakehouse baseada em Databricks e Data Mesh;
- Implementar e administrar o Unity Catalog como camada central de governança de dados;
- Estruturar o compartilhamento de dados entre domínios utilizando Delta Sharing;
- Desenvolver padrões de ingestão de dados em batch e streaming para utilização pelos domínios de negócio;
- Construir e evoluir a arquitetura medalhão (Bronze, Silver e Gold) para processamento de dados;
- Desenvolver frameworks de Data Contracts e Data Quality para a plataforma;
- Estruturar e automatizar esteiras de CI/CD para ambientes Databricks;
- Implementar automações de infraestrutura utilizando práticas de Infrastructure as Code (IaC);
- Integrar a plataforma Databricks ao ecossistema Data Mesh existente na AWS;
- Garantir interoperabilidade entre catálogos, serviços e modelos de governança de dados;
- Participar de decisões de arquitetura, definição de padrões técnicos e evolução da plataforma;
- Produzir documentação técnica e apoiar o desenvolvimento técnico do time;
- Contribuir para Observabilidade, monitoramento, performance e governança dos ambientes de dados.
Requisitos Obrigatórios:
- Experiência sólida com a plataforma Databricks, incluindo administração de WorkSpaces, clusters, Jobs e workflows;
- Experiência com Unity Catalog, incluindo governança, modelo de permissões, lineage, external locations e integração com Storage;
- Conhecimento avançado em Delta Lake e arquitetura medalhão (Bronze, Silver e Gold);
- Experiência na implementação de processos de ingestão de dados em batch e streaming;
- Vivência com CI/CD para Databricks, utilizando Databricks Asset Bundles, Repos e ferramentas como GitHub Actions, Azure DevOps ou similares;
- Experiência com serviços AWS, incluindo S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;
- Conhecimento em Infrastructure as Code utilizando Terraform, incluindo o Provider Databricks;
- Proficiência em Python e PySpark para desenvolvimento de pipelines e automações;
- Conhecimento avançado em SQL;
- Experiência com Data Contracts e plataformas de metadados, como OpenMetadata;
- Experiência com monitoramento e Observabilidade utilizando DataDog;
- Conhecimento em arquitetura e governança de dados em ambientes corporativos;
- Capacidade de atuar em ambientes colaborativos, conduzindo discussões técnicas e decisões arquiteturais;
- Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada.
Requisitos Diferenciais:
- Vivência em iniciativas de Data Mesh, incluindo domínios de dados, Data Products e governança federada;
- Experiência no mercado financeiro, crédito ou serviços financeiros;
- Conhecimento em observabilidade e monitoramento de plataformas de dados, métricas de jobs e qualidade de dados;
- Experiência com práticas de FinOps aplicadas a ambientes Databricks, incluindo monitoramento e otimização de custos;
- Experiência com Delta Sharing em cenários cross-company, cross-cloud ou cross-region;
- Certificações AWS, como Data Engineer Associate ou Solutions Architect;
- Certificações Databricks, como Data Engineer Associate, Data Engineer Professional ou Platform Administrator;
- Conhecimento em padrões abertos de contratos de dados, como Open Data Contract Standard (ODCS/ODPS);
- Experiência com plataformas modernas de governança, compartilhamento e monetização de dados;
- Vivência na construção de plataformas corporativas de dados em larga escala.
Descrição comportamental:
Procuramos uma pessoa que:
- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
- Tenha habilidades de resolução de problemas;
- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT