... | ... | @@ -113,28 +113,28 @@ Cette deuxieme partie, **accessible à un large public, avec des prérequis de b |
|
|
|
|
|
Cette deuxième partie est composées de 11 séquences, de Janvier à Avril 2024:
|
|
|
|
|
|
* **Séquence 5 : Mathématiques, gradients everywhere !!!**
|
|
|
* **Séquence 5 : Mathématiques, gradients everywhere !!!** <a name='seq5'>
|
|
|
|
|
|
> **Durée : 2h / Jeudi 11 janvier 2024, 14h**
|
|
|
* Présentation mathématique de l'optimisation par descente de gradient
|
|
|
* Principe de la backpropagation
|
|
|
* Mise en lumière de l'intérêt pratique des méthodes stochastiques
|
|
|
* Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
|
|
|
* **Séquence 6 : Méthodologie des modèles/apprentissage + fine-tuning + TP**
|
|
|
* **Séquence 6 : Méthodologie des modèles/apprentissage + fine-tuning + TP** <a name='seq6'>
|
|
|
|
|
|
> **Durée : 2h / Jeudi 18 Janvier 2024, 14h**
|
|
|
* Présentation de l'apprentissage automatique et des différents types de modèles
|
|
|
* Transfer Learning
|
|
|
* Fine-Tuning de Modèles Pré-entraînés
|
|
|
* Évaluation des performances des modèles
|
|
|
* **Séquence 7 : Réseaux convolutifs CNN**
|
|
|
* **Séquence 7 : Réseaux convolutifs CNN** <a name='seq7'>
|
|
|
|
|
|
> **Durée: 2h / Jeudi 25 Janvier 2024, 14h**
|
|
|
* Principes et concepts des réseaux convolutifs (CNN)
|
|
|
* Convolutions - Dropout - Pooling
|
|
|
* Monitoring et Tensorboard - Augmentation de données Passage à l'échelle
|
|
|
* Exemple simple de classification de panneaux routiers ou de detections d'objects
|
|
|
* **Séquence 8 : RNN & Transformers**
|
|
|
* **Séquence 8 : RNN & Transformers** <a name='seq8'>
|
|
|
|
|
|
> **Durée: 2h / Jeudi 1 février 2024, 14h**
|
|
|
* Au tout début étaient les RNN
|
... | ... | @@ -143,7 +143,7 @@ Cette deuxième partie est composées de 11 séquences, de Janvier à Avril 2024 |
|
|
* Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
* Pré-entraînement (BERT et GPT) et Fine tuning
|
|
|
* Utilisation des transformers dans les autres domaines
|
|
|
* **Séquence 9 : Autoencodeur (AE), un exemple d'apprentissage self supervised**
|
|
|
* **Séquence 9 : Autoencodeur (AE), un exemple d'apprentissage self supervised** <a name='seq9'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 8 fevrier 2024 , 14h**
|
|
|
* Principes et architecture d'un autoencodeur (AE)
|
... | ... | @@ -158,34 +158,34 @@ Cette deuxième partie est composées de 11 séquences, de Janvier à Avril 2024 |
|
|
* Problématique liée aux gros datasets
|
|
|
* Datasets clusterisés - GPU et batch
|
|
|
* Exemple proposé : Génération de données
|
|
|
* **Séquence 11 : Generative Adversarial Networks (GAN)**
|
|
|
* **Séquence 11 : Generative Adversarial Networks (GAN)** <a name='seq11'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 7 Mars 2024, 14h**
|
|
|
* Principes et architecture d'un GAN
|
|
|
* Generator - Discriminator - Apprentissage
|
|
|
* WGAN et WGAN-GP
|
|
|
* **Séquence 12: Travailler avec des données structurées : Graph Neural Network (GNN)**
|
|
|
* **Séquence 12: Travailler avec des données structurées : Graph Neural Network (GNN)** <a name='seq12'>
|
|
|
|
|
|
> **Durée : 2h / Jeudi 14 Mars 2024, 14h**
|
|
|
- Omniprésence et problématique des graphes
|
|
|
- Approches classiques
|
|
|
- Les GNNs
|
|
|
- Cas d'usages
|
|
|
* **Séquence 13 : Diffusion model, text to image**
|
|
|
* **Séquence 13 : Diffusion model, text to image** <a name='seq13'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 21 Mars 2024, 14h**
|
|
|
* Principe des Diffusion Model
|
|
|
* Le processus et l’architecture du DDPM
|
|
|
* Améliorations et optimisations des DDPM
|
|
|
* Exemple proposé : Génération d’une garde robe
|
|
|
* **Séquence 14: Tactiques et stratégies du Deep Reinforcement Learning**
|
|
|
* **Séquence 14: Tactiques et stratégies du Deep Reinforcement Learning** <a name='seq14'>
|
|
|
|
|
|
> **Durée : 2h / Jeudi 28 Mars, 14h**
|
|
|
* Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc
|
|
|
* Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des d'approximation fonctions
|
|
|
* Cas d'usage, résultats et perspectives
|
|
|
* Illustrations via des vidéos.
|
|
|
* **Séquence 15 : Des neurones pour la physique, les physics-informed neural networks (PINNS)**
|
|
|
* **Séquence 15 : Des neurones pour la physique, les physics-informed neural networks (PINNS)** <a name='seq15'>
|
|
|
|
|
|
> **Durée: 2h / Jeudi 4 avril 2024, 14h**
|
|
|
* Problématique et concepts
|
... | ... | @@ -206,7 +206,7 @@ L'optimisation, tant au niveau des modèles que des algorithmes, est un pilier e |
|
|
|
|
|
Cette partie presentera 5 séquences :
|
|
|
|
|
|
* **Séquence 16 : Fusion de modèle / multi-modalité**
|
|
|
* **Séquence 16 : Fusion de modèle / multi-modalité** <a name='seq16'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 11 avril, 14h**
|
|
|
- Présentation de la fusion de modèles et de l'apprentissage multi-modal
|
... | ... | @@ -214,7 +214,7 @@ Cette partie presentera 5 séquences : |
|
|
- Méthodes de fusion (concaténation, pondération, modèles d'apprentissage profond, etc.)
|
|
|
- Préparation des données multimodales pour la fusion
|
|
|
- TP - Mise en œuvre de la fusion de modèles profonds.
|
|
|
* **Séquence 17 : Apprendre plus vite et moins cher, optimiser l’apprentissage et réduire notre empreinte carbone**
|
|
|
* **Séquence 17 : Apprendre plus vite et moins cher, optimiser l’apprentissage et réduire notre empreinte carbone** <a name='seq17'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 2 mai, 14h**
|
|
|
* Techniques d’optimisation
|
... | ... | @@ -229,18 +229,18 @@ Cette partie presentera 5 séquences : |
|
|
* Hybrid Parallelism - Pipelines
|
|
|
* Deepspeed - Optimisation du Data parallelism
|
|
|
* Bonnes pratiques pour un apprentissage distribué
|
|
|
* **Séquence 19 : Nouveaux Frameworks d’apprentissage / Nouvelles Technos**
|
|
|
* **Séquence 19 : Nouveaux Frameworks d’apprentissage / Nouvelles Technos** <a name='seq18'>
|
|
|
|
|
|
> **Durée : 2h / Jeudi 23 mai, 14h**
|
|
|
* Présentation aux nouveaux frameworks d'apprentissage
|
|
|
* Comparaison des caractéristiques des frameworks.
|
|
|
* Examen des applications des nouvelles technologies en apprentissage automatique
|
|
|
* **Séquence 20 : Cas pratiques / retour d’expérience**
|
|
|
* **Séquence 20 : Cas pratiques / retour d’expérience** <a name='seq20'>
|
|
|
|
|
|
> **Durée : 2h / jeudi 30 mai, 14h**
|
|
|
* fine tuning et mise en œuvre d’un LLM
|
|
|
* exemple multimodal illustrant un travail de préparation et d’adaptation
|
|
|
* **JDLS2024 : Perspective /Futur (JDLS) 👩🔬**
|
|
|
* **JDLS2024 : Perspective /Futur (JDLS) 👩🔬** <a name='jdls'>
|
|
|
|
|
|
> **Vendredi 24 Mai 2024, 9h30-17h30**
|
|
|
|
... | ... | |