Engenheiro de Dados Sr.

Buscamos um(a) Engenheiro(a) de Dados para atuar no planejamento, desenvolvimento, implantação e sustentação de soluções de dados em ambiente Big Data/Data Lake.

Essa pessoa será responsável pela construção e evolução de pipelines de alto volume de dados, garantindo qualidade, disponibilidade, segurança e confiabilidade das informações , além de participar ativamente da identificação de melhorias e otimizações na arquitetura e nos processos de dados.

Principais responsabilidades:

- Planejar, desenvolver, programar e implantar pipelines de dados de alto volume para ambientes Big Data/Data Lake;

- Monitorar pipelines, identificar falhas e atuar na análise e resolução de problemas;

- Planejar e executar processos de saneamento, tratamento e qualidade de dados;

- Desenvolver, construir, testar e manter arquiteturas de bancos de dados e sistemas de processamento de dados;

- Trabalhar com processamento de dados distribuído, batch e/ou em tempo real;

- Criar e implementar métodos e técnicas que aumentem a eficiência, qualidade, disponibilidade e confiabilidade dos dados;

- Identificar oportunidades e propor melhorias, ajustes e otimizações nos processos, utilizando novas metodologias e ferramentas;

- Elaborar e manter documentação técnica, incluindo descrição, conceituação das informações e gestão de metadados;

- Apoiar atividades relacionadas à administração, governança e segurança de dados;

- Participar do planejamento e execução de projetos relacionados à plataforma e engenharia de dados.

Requisitos técnicos:

- Conhecimento em Git/GitLab ;

- Conhecimento avançado em Java/Groovy ;

- Conhecimento avançado em Python ;

- Experiência com desenvolvimento e sustentação de pipelines de dados;

- Conhecimento de conceitos e arquiteturas de Big Data e Data Lake .

Conhecimentos desejáveis:

- Conhecimento intermediário a avançado em Apache Spark , incluindo processamento streaming e batch;

- Experiência com PySpark e/ou Scala ;

- Conhecimento em tecnologias e ferramentas do ecossistema Big Data, como: NiFi;Kafka; Airflow; HDFS; Hive; HBase; Iceberg; Kudu; Impala; Trino; Redis;

- Conhecimento intermediário a avançado em SQL ;

- Conhecimento intermediário a avançado em bancos de dados Oracle e/ou MySQL .

Modelo de atuação: Presencial em Goiânia - GO