Engenharia de Dados Sênior - 137354

O que buscamos:

Buscamos um(a) Engenheiro(a) de Dados com experiência em Databricks e Azure para atuar no desenvolvimento, manutenção e otimização de soluções de integração e processamento de dados. Procuramos um perfil hands-on, com forte capacidade analítica e foco em qualidade, performance e confiabilidade dos dados, contribuindo para a evolução contínua das plataformas e pipelines de dados.

Responsabilidades:

- Desenvolver, manter e otimizar notebooks, pipelines e processos de transformação de dados utilizando Databricks;

- Atuar na construção e evolução de processos de ETL, garantindo a integração entre diferentes fontes de dados;

- Desenvolver scripts em Python para tratamento, validação e processamento de dados;

- Criar, otimizar e manter consultas SQL e rotinas relacionadas a bancos de dados SQL Server;

- Construir, monitorar e manter pipelines de dados garantindo disponibilidade e confiabilidade dos processos;

- Investigar falhas, realizar troubleshooting e implementar soluções para incidentes e problemas de processamento;

- Colaborar na melhoria contínua da qualidade, governança e performance dos dados;

- Atuar na implementação de boas práticas de desenvolvimento, versionamento e monitoramento de processos de dados;

- Colaborar com equipes multidisciplinares na entrega de soluções orientadas a dados.

Requisitos Obrigatórios:

- Experiência prática com Databricks no desenvolvimento, manutenção e otimização de notebooks e pipelines;

- Conhecimento sólido em Python para manipulação, tratamento e validação de dados;

- Experiência com SQL Server, incluindo consultas SQL, Joins, procedures e otimização de queries;

- Vivência em processos de ETL (Extração, Transformação e Carga de Dados);

- Experiência na construção, manutenção e monitoramento de pipelines de dados;

- Capacidade de realizar troubleshooting, investigação de falhas e resolução de problemas;

- Conhecimento em Azure Data Factory (ADF) para criação, orquestração e monitoramento de pipelines;

- Familiaridade com o ecossistema Microsoft Azure e seus serviços de armazenamento e processamento de dados;

- Conhecimento em PySpark, Apache Spark e Delta Lake;

- Conhecimento em integração de diferentes fontes e processamento de dados;

- Experiência com Git e versionamento de código;

- Conhecimento em boas práticas de desenvolvimento para Engenharia de Dados;

- Vivência com otimização de performance e qualidade de dados.

Descrição comportamental:

Procuramos uma pessoa que:

- Goste de trabalhar em equipe e seja colaborativa em suas atribuições;

- Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;

- Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;

- Tenha habilidades de resolução de problemas;

- Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;

- Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT