Maîtrisez le cycle de vie complet des modèles d’IA et sécurisez leur passage en production
Non classé
À propos du cours
Cette formation propose une immersion complète dans le MLOps, depuis les phases d’expérimentation des modèles jusqu’à leur industrialisation dans des systèmes distribués en temps réel.
Ce cours sera disponible à partir de fin juin.
Qu’allez-vous apprendre ?
- Comprendre les fondamentaux du machine learning, des statistiques et des algorithmes
- Maîtriser le cycle de vie complet d’un modèle, de l’expérimentation à la mise en production
- Concevoir une architecture MLOps pour des systèmes prédictifs en temps réel
- Industrialiser les pipelines de données avec des outils comme Kafka
- Mettre en place des systèmes distribués robustes, scalables et hautement disponibles
- Suivre, versionner et gérer les modèles avec MLflow
- Orchestrer avec airflow
- Implémenter des architectures de stockage adaptées (PostgreSQL, S3/MinIO)
- Déployer des modèles via des API de serving et gérer l’inférence en temps réel
- Mettre en place la supervision, l’observabilité et l’alerting
- Construire des boucles de rétroaction pour améliorer continuellement les modèles
- Concevoir une plateforme complète orientée industrie 4.0 avec maintenance prédictive et dashboards métie
Contenu du cours
PRESENTATION DE LA FORMATION
presentation concrete de ce qui va etre construit concretement dans cette formation, du projet , de son fonctionnement, de son evolution. Presentation de ce qu'est le MLOPS
-
00:00
-
00:00
-
Presentation fonctionnelle et technique de l’architecture du projet
00:00
Mise en place d’une plateforme Kafka avec Docker Compose
-
Creation de la structure du projet
00:00 -
Docker Compose : création et configuration de ZooKeeper
00:00 -
Docker Compose : création et configuration de kafka
00:00 -
Déploiement et tests
00:00 -
kafka-init — création automatique des topics
00:00 -
Deploiement et tests des topics
00:00
Développer et déployer un Producer Kafka en Python
-
Creation du producer avec python
00:00 -
Creation du dockerfile pour le producer
00:00 -
Creation du service producer dans docker compose
00:00 -
Déploiement et test
00:00
Mise en place du stockage objet MinIO
-
Ajout du service MinIO dans docker compose
00:00 -
Ajout du service minio-init dans docker compose
00:00 -
Deploiement et test de la stack avec minio
00:00
Intégration de MLflow dans l’infrastructure Docker Compose
-
Ajout du service MLFLOW
00:00 -
Deploiement de la stack et test
00:00 -
Prise en main de l’interface mlflow
00:00
Intégration d’Airflow pour l’orchestration des entraînements
-
Creation d’un dockerfile pour une image personnalisé d’airflow
00:00 -
Ajout du service airflow dans docker-compose
-
Creation d’un DAG
00:00 -
Architecture du script d’entrainement
00:00 -
Code python d’importation des outils et connexion mlops
00:00 -
Architecture du réseau de neurone LSTM
00:00 -
Code de la classe du réseau de neurones (LSTM)
00:00 -
Code du simulateur IOT
00:00 -
Fonctionnement de la boucle d’entrainement
00:00 -
code de la boucle d’entrainement
00:00 -
Deploiement de la stack et verification
00:00 -
déclencher le DAG Airflow verification dans airflow et minio
00:00
Création et déploiement d’un Consumer Kafka en Python
-
Creation du consumer en python
-
Creation du Dockerfile pour le consumer
-
Ajout du service consumer dans le docker-compose
-
Déploiement de la stack et visualisation des predictions en temps reel
Test bout en bout — flux complet FleetPulse
-
La chaîne complète
-
Producer kafka
-
Kafka → Consumer → Prédiction
-
Alertes dans Kafka
-
Interfaces web
-
Vérification finale en une commande
Dépannage — diagnostiquer et corriger les problèmes
-
Situation 1 : un service ne démarre pas
-
Situation 2 : reconstruire une image après modif
-
Situation 3 : inspecter l’intérieur d’un conteneur
-
Situation 4 : repartir de zéro
-
Situation 5 : diagnostiquer Kafka
-
Situation 6 : diagnostiquer MLflow et MinIO
-
Conclusion + récap des commandes clés
stack reconstruite de zéro
-
Ce qu’on a construit
-
Destruction complète
-
Reconstruction complète
-
Réentraîner et vérifier
Mise en place du monitoring de la plateforme MLOps
-
ajouter Prometheus pour collecter les métriques du consumer
-
Ajouter grafana pour la visaulisation
-
Ajouter evidently pour mesurer la fiabilité du modéle
-
Ecrire le fichier de configuration de prometheus: prometheus.yml
-
Configurer les alertes alert_rules.yml
-
ajouter le service Pushgateway
-
Lancer la stack
Configuration et automatisation de Grafana
-
Provisioning de grafana automatique vs manuel
-
creation de la datasource Prometheus
-
Creation du dashboard grafana
-
Le dashboard json
-
Lancement de la stack et test
Service de monitoring ML avec Docker
-
Ecriture du service qui surveille la derive des données
-
Ecriture du Dockerfile pour le service monitor
-
ajouter les service monitor et evidently-ui dans compose
-
Lancement et test de la stack
La boucle MLOps complète
-
Verification de l’ etat de la stack
-
Interface 1 — MLflow :5000
-
Interface 2 — MinIO :9001
-
Interface 3 — Airflow :8080
-
Interface 4 — Prometheus :9090
-
Interface 5 — Grafana :3000
-
Interface 6 — Evidently :8888
-
La boucle MLOps en live
-
Simulation de la boucle de réentraînement
GitHub Actions CI/CD
-
Pourquoi le CI/CD
-
Écriture de .github/workflows/cicd.yml
-
Ecriture de .github/workflows/retrain.yml
-
Configurer les secrets GitHub
-
Test du pipeline
Conclusion
-
La stack finale en chiffres
-
Récapitulatif des 4 modules
-
Kubernetes pour aller plus loin
-
AWS SageMaker pour aller plus loin
-
Apache Spark pour aller plus loin
-
Ce que vous savez maintenant
Notes et avis de l’apprenant
Encore aucun avis !