| ... | ... | @@ -49,7 +49,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
|
|
|
|
|
|
|
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
|
|
|
|
- Introduction du cycle
|
|
|
|
- **Historique** et **concepts fondamentaux**<br>
|
|
|
|
- **Historique** et **concepts fondamentaux** des réseaux de neurones<br>
|
|
|
|
Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres<br>
|
|
|
|
Préparation des données - Apprentissage - Validation - Sous et sur apprentissage<br>
|
|
|
|
Fonctions d’activation - softmax
|
| ... | ... | @@ -62,7 +62,7 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
|
|
|
- Problématiques liées aux **données**
|
|
|
|
- Convolutions - Dropout - Pooling - Monitoring et Tensorboard - Augmentation de données<br>
|
|
|
|
Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
|
|
|
|
- Exemple proposées : Classification de chiffres manuscrits et de panneaux routiers
|
|
|
|
- Exemples pratiques : Classification de chiffres manuscrits et de panneaux routiers
|
|
|
|
- Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 3 : Données creuses à taille variable : L'exemple des données textuelles
|
| ... | ... | @@ -77,6 +77,29 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
|
|
|
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
|
|
- Durée : 1h30
|
|
|
|
|
|
|
|
### Séquence 5 : Autoencodeur (AE) : un exemple d'apprentissage non supervisé
|
|
|
|
- Principes et architecture d'un **autoencodeur (AE)**
|
|
|
|
- Espace latent - Convolution classiques et transposées<br>
|
|
|
|
Programmation procédurale avec Keras - GPU et batch
|
|
|
|
- Exemple proposé : Débruitage d'images fortement bruitées
|
|
|
|
- Durée : 1h
|
|
|
|
|
|
|
|
### Séquence 6 : Variational Autoencoder (VAE) : apprentissage non supervisé, réseau génératif
|
|
|
|
- Principes et architecture d’un **Variational AutoEncodeur (VAE)**
|
|
|
|
- Problématique liée aux **« gros » datasets**
|
|
|
|
- Projection gaussienne - Génération de données - Morphing dans l'espace latent<br>
|
|
|
|
Datasets clusterisés - GPU et batch
|
|
|
|
- Exemple proposé :
|
|
|
|
- Durée : 1h
|
|
|
|
|
|
|
|
Séquence 7 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU
|
|
|
|
Présentation de Jean-Zay et calcul sur GPU
|
|
|
|
Distribution du calcul - Data Parallelism - Model Parallelism - Hybrid Parallelism - Pipelines
|
|
|
|
|
|
|
|
Séquence 8 : Clôture et bilan
|
|
|
|
Pour aller au delà de ce premier contact...
|
|
|
|
Conclusion et bilan
|
|
|
|
Durée 1h
|
|
|
|
|
|
|
|
|
|
|
|
----
|
| ... | ... | |
| ... | ... | |