Update Présentation authored by Jean-Luc Parouty's avatar Jean-Luc Parouty
...@@ -49,7 +49,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de ...@@ -49,7 +49,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones. ### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
- Introduction du cycle - Introduction du cycle
- **Historique** et **concepts fondamentaux**<br> - **Historique** et **concepts fondamentaux** des réseaux de neurones<br>
Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres<br> Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres<br>
Préparation des données - Apprentissage - Validation - Sous et sur apprentissage<br> Préparation des données - Apprentissage - Validation - Sous et sur apprentissage<br>
Fonctions d’activation - softmax Fonctions d’activation - softmax
...@@ -62,7 +62,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de ...@@ -62,7 +62,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de
- Problématiques liées aux **données** - Problématiques liées aux **données**
- Convolutions - Dropout - Pooling - Monitoring et Tensorboard - Augmentation de données<br> - Convolutions - Dropout - Pooling - Monitoring et Tensorboard - Augmentation de données<br>
Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint) Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
- Exemple proposées : Classification de chiffres manuscrits et de panneaux routiers - Exemples pratiques : Classification de chiffres manuscrits et de panneaux routiers
- Durée : 2h - Durée : 2h
### Séquence 3 : Données creuses à taille variable : L'exemple des données textuelles ### Séquence 3 : Données creuses à taille variable : L'exemple des données textuelles
...@@ -77,6 +77,29 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de ...@@ -77,6 +77,29 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h - Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
- Durée : 1h30 - Durée : 1h30
### Séquence 5 : Autoencodeur (AE) : un exemple d'apprentissage non supervisé
- Principes et architecture d'un **autoencodeur (AE)**
- Espace latent - Convolution classiques et transposées<br>
Programmation procédurale avec Keras - GPU et batch
- Exemple proposé : Débruitage d'images fortement bruitées
- Durée : 1h
### Séquence 6 : Variational Autoencoder (VAE) : apprentissage non supervisé, réseau génératif
- Principes et architecture d’un **Variational AutoEncodeur (VAE)**
- Problématique liée aux **« gros » datasets**
- Projection gaussienne - Génération de données - Morphing dans l'espace latent<br>
Datasets clusterisés - GPU et batch
- Exemple proposé :
- Durée : 1h
Séquence 7 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU
Présentation de Jean-Zay et calcul sur GPU
Distribution du calcul - Data Parallelism - Model Parallelism - Hybrid Parallelism - Pipelines
Séquence 8 : Clôture et bilan
Pour aller au delà de ce premier contact...
Conclusion et bilan
Durée 1h
---- ----
... ...
......