Data Engineer - Azure

Shape the Future with LCG

Na LCG acreditamos que a inovao acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizaes de diferentes setores na sua transformao digital, criando impacto atravs de projetos desafiantes e equipas de excelncia.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contnua, a partilha de conhecimento e a evoluo profissional fazem parte do dia a dia. Aqui, ters a oportunidade de colaborar com equipas multidisciplinares, trabalhar em contextos internacionais e contribuir para o desenvolvimento de solues tecnolgicas inovadoras.

Na LCG, o teu talento impulsiona a inovao e o teu crescimento acompanha a evoluo da tecnologia.

Procuramos um perfil de Data Engineer para integrar a nossa equipa.

O que vais fazer?

- Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e, quando aplicvel, Azure Data Factory;

- Implementar processos de ingesto, transformao e modelao de dados em arquiteturas Data Lakehouse;

- Preparar datasets para Machine Learning, incluindo limpeza, tratamento de valores em falta, transformao de variveis e feature engineering;

- Colaborar no desenvolvimento, treino e avaliao de modelos de classificao, regresso, clustering e/ou previso de sries temporais;

- Selecionar mtricas de avaliao adequadas aos objetivos de negcio;

- Implementar pipelines de inferncia/scoring e integrar os resultados dos modelos nos processos de dados;

- Monitorizar a qualidade dos dados e o desempenho dos modelos em produo;

- Colaborar com equipas de negcio, Data Scientists e equipas tcnicas no levantamento de requisitos e na implementao de solues;

- Assegurar boas prticas de desenvolvimento, versionamento, documentao e testes.

O que precisas de saber?

- Entre 2 a 3 anos de experincia em Engenharia de Dados, incluindo participao em projetos com Machine Learning tradicional;

- Experincia slida em Azure Databricks;

- Bons conhecimentos de Python, SQL e PySpark;

- Experincia com Azure Data Lake Storage e formatos como Parquet e Delta Lake;

- Experincia no ciclo completo de desenvolvimento de solues de dados: ingesto, transformao, modelao e disponibilizao;

- Experincia prtica com bibliotecas de Machine Learning;

- Conhecimentos de preparao de dados, treino, validao e avaliao de modelos;

- Compreenso de conceitos como overfitting, data leakage, separao entre treino e teste e validao cruzada;

- Experincia na integrao de modelos em pipelines de processamento e scoring em batch;

- Experincia com Git e boas prticas de desenvolvimento de software;

- Capacidade de desenvolver solues escalveis, considerando o desempenho e os custos de execuo.

O que valorizamos?

- Experincia com Azure Machine Learning, nomeadamente jobs/pipelines de treino, registo de modelos e endpoints de inferncia;

- Conhecimentos de monitorizao de modelos, deteo de data drift e processos de retreino;

- Experincia na disponibilizao de modelos atravs de APIs ou endpoints online;

- Conhecimentos de Unity Catalog, governao de dados e controlo de acessos;

- Experincia com metodologias geis, nomeadamente Scrum, e ferramentas como Jira e Confluence;

- Proatividade, autonomia e capacidade analtica na resoluo de problemas;

- Boa comunicao e facilidade de interao com equipas multidisciplinares;

- Capacidade de traduzir necessidades de negcio em solues tcnicas, com foco na entrega de valor.

Localizao: Portugal
Modelo de trabalho: Remoto