Data Platform & Data Ops Engineer

Contexte de la mission

Un grand groupe industriel du secteur aéronautique souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory afin d’accompagner l’accélération des projets Data et IA, l’augmentation des volumes de données et l’industrialisation des traitements de données.

L’équipe Data Platform est responsable de la mise à disposition, de l’exploitation et de l’évolution des services permettant l’ingestion, le stockage, la transformation et la diffusion des données. Elle assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers.

Missions principales

1. Administration et exploitation Data Platform

- Administrer et maintenir les plateformes de données.
- Gérer les pipelines d’intégration et les déploiements.
- Administrer les environnements DEV, TEST et PROD.
- Gérer les espaces de stockage, les accès et les habilitations.
- Garantir la disponibilité et la sécurité des plateformes.

2. Architecture et infrastructure DataOps

- Concevoir et maintenir des architectures Data sur AWS.
- Automatiser le provisionnement des infrastructures via Terraform.
- Optimiser les coûts Cloud dans une démarche FinOps.
- Assurer la scalabilité, la résilience et la sécurité des services Data.

3. Industrialisation et DevOps

- Mettre en place et maintenir les chaînes CI/CD.
- Automatiser les déploiements et les tests.
- Standardiser les composants Data.
- Améliorer continuellement les processus d’exploitation.

4. Support et expertise technique

- Assurer le support de niveaux 2 et 3 des plateformes Data.
- Diagnostiquer et résoudre les incidents complexes.
- Accompagner les équipes Data Engineering et BI.
- Réaliser des analyses de performance et de capacité.

5. Monitoring et observabilité

- Mettre en œuvre les solutions de supervision.
- Définir les alertes et les tableaux de bord opérationnels.
- Assurer le suivi des SLA et des indicateurs de performance.
- Anticiper les risques de saturation ou de dégradation des services.

6. Gouvernance et transformation

- Contribuer à la définition des standards de la Data Platform.
- Participer aux revues d’architecture.
- Documenter les procédures et les bonnes pratiques.
- Accompagner les projets de migration Cloud et les évolutions de plateforme.

Livrables attendus

- Templates d’infrastructure automatisés (IaC).
- Pipelines CI/CD industrialisés.
- Documentation d’exploitation.
- Procédures de déploiement et de supervision.
- Runbooks et modes opératoires.
- Dossiers techniques d’architecture.
- Reporting d’activité.
- Plans de remédiation des incidents majeurs.
- Supports de transfert de compétences.
- Documentation des processus d’automatisation et d’exploitation.

Environnement technique

- Cloud et architecture : AWS (S3, IAM, Glue, Athena, Lambda, EMR, Redshift, DynamoDB), Data Mesh, Data Products, gouvernance fédérée.
- Infrastructure et conteneurisation : Terraform, AWS CDK, Docker, Kubernetes, AWS EKS, ECS.
- Data Engineering et DataOps : AWS Glue ETL, Airflow, dbt, AWS Step Functions, CI/CD.
- Langages et outils : Python, SQL, PySpark, Bash, GitLab CI, CloudWatch.
- Sécurité et gouvernance : AWS Lake Formation, AWS KMS, AWS Secrets Manager, gestion des identités et des accès, Data Governance, Data Quality.
- Technologies complémentaires : Snowflake, Apache Spark, Talend, Microsoft Fabric.

Profil recherché

- Minimum 5 ans d’expérience sur des environnements Data Platform.
- Expérience significative en DevOps et DataOps.
- Expérience en exploitation de plateformes de données critiques.
- Maîtrise des environnements Cloud AWS.
- Expérience dans la mise en place et la maintenance de chaînes CI/CD.
- Compétences en automatisation d’infrastructure, monitoring et observabilité.
- Connaissance des enjeux de sécurité, de gestion des accès et d’optimisation des coûts Cloud.
- Capacité à collaborer avec les équipes Data Engineering, BI et Architecture.
- Forte autonomie et excellent niveau technique.
- Profil habilitable.

Informations contractuelles

- Type de contrat : Freelance
- Durée : 3 mois renouvelables par périodes de 3 mois
- Localisation : Corbeil, Essonne (91)
- Présence sur site : 3 jours par semaine