Changes
Page history
Update Présentation
authored
Oct 26, 2021
by
Jean-Luc Parouty
Hide whitespace changes
Inline
Side-by-side
Fidle-à-distance/Présentation.md
View page @
eda7e9a4
...
@@ -67,130 +67,5 @@ Pandas, Matplotlib et Jupyter lab sont des plus :-)
...
@@ -67,130 +67,5 @@ Pandas, Matplotlib et Jupyter lab sont des plus :-)
-
Pour rester informé :
[
abonnez-vous à la liste !
](
https://listes.grenoble.cnrs.fr/sympa/info/fidle-a-distance.info
)
-
Pour rester informé :
[
abonnez-vous à la liste !
](
https://listes.grenoble.cnrs.fr/sympa/info/fidle-a-distance.info
)
-
[
<img width="180px" src="uploads/3937ca71af295814f7764e7d316cdaba/00-Mail_contact.svg"></img>
](
#
)
-
[
<img width="180px" src="uploads/3937ca71af295814f7764e7d316cdaba/00-Mail_contact.svg"></img>
](
#
)
# Programme :
L'idée est de proposer un
**découpage en séquences**
relativement courtes, de 1h à 3h maximum :
-
Toutes les séquences seront
**enregistrées**
et
**disponibles en ligne**
. Il sera donc possible de rattraper une séquence.
-
La séquence 1 présentant les concepts fondamentaux, elle est donc un prérequis aux suivantes.
-
Les séquences suivantes sont globalement indépendantes.
-
Le contenu des séquences pourra être adapté en fonction des demandes ou du contexte :-)
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
*
**Historique**
et
**concepts fondamentaux**
des réseaux de neurones
\
Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres
\
Préparation des données - Apprentissage - Validation - Sous et sur apprentissage
\
Fonctions d’activation - softmax
*
Exemples proposés : Régression et Classification avec des DNN
*
Durée : 3h
### Séquence 2 : Réseaux convolutifs, partie 1
*
Principes et concepts des
**réseaux convolutifs (CNN)**
*
Convolutions - Dropout - Pooling
*
Exemple proposé : Classification de chiffres manuscrits
*
Durée : 2h
### Séquence 3 : Réseaux convolutifs, partie 2
*
Quand les datasets et les calculs grossissent, problématiques liées à la
**gestion des données**
*
Rappel sur les convolutions - Monitoring et Tensorboard - Augmentation de données
\
Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
*
Exemple proposé : Classification de panneaux routiers
*
Durée : 2h
### Séquence 4 : Démystifier les outils mathématiques
*
Présentation mathématique de l'optimisation par descente de gradient
*
Principe de la backpropagation
*
Mise en lumière de l'intérêt pratique des méthodes stochastiques
*
Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
*
Durée : 2h30
### Séquence 5 : Données creuses de dimensions variables et stratégies d'évaluation des modèles
*
Stratégies d'évaluation des modèles - Hold out, iterative hold out, k-fold, etc.
*
Spécificités et gestion des données creuses/textuelles
*
Principes de l'Embedding (Keras, CBOW, Skip-Gram), comment réduire les dimensions.
*
Exemple proposé : Analyse de sentiment avec une analyse de critique de films.
*
Durée : 2h
### Séquence 6 : Données séquentielles : quand les données sont des séquences temporelles
*
Données séquentielles et réseaux récurrents (RNN)
*
RNN - LSTM - GRU - Spécificités des données séquentielles - Data Generator
*
Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
*
Durée : 2h
### Séquence 7 : "Attention Is All You Need", quand les Transformers changent la donne
*
Nouvelle evolution des modeles
*
Fine tuning
*
Cas d'usages : BERT, GPT
*
Durée : 2h
### Séquence 8 : Autoencodeur (AE) : un exemple d'apprentissage "self supervised"
*
Principes et architecture d'un autoencodeur (AE)
*
Espace latent - Convolution classiques et transposées
*
Programmation procédurale avec Keras - GPU et batch
*
Exemple proposé : Débruitage d'images fortement bruitées
*
Durée : 2h
### Séquence 9 : Variational Autoencoder (VAE) : apprentissage "self supervised", réseau génératif
*
Principes et architecture d’un Variational AutoEncodeur (VAE)
*
Problématique liée aux « gros » datasets
*
Projection gaussienne - Génération de données - Morphing dans l'espace latent
*
Datasets clusterisés - GPU et batch
*
Exemple proposé : Génération de portraits
*
Durée : 2h
### Séquence 10 : Generative Adversarial Networks (GAN)
*
Principes et architecture d'un GAN
*
Generator - Discriminator - Apprentissage
*
WGAN et WGAN-GP
*
Exemple proposé : A définir
*
Durée : 2h
### Séquence 11 : Un détour par PyTorch.
*
Présentation générale
*
Principes et objets clés pour programmer sous PyTorch
*
Exemples : Classification et regression sous PyTorch
*
Durée : 2h
### Séquence 12 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU
*
Présentation de Jean-Zay et calcul sur GPU
*
Distribution du calcul - Data Parallelism - Model Parallelism
*
Hybrid Parallelism - Pipelines
*
Deepspeed - Optimisation du Data parallelism
*
Bonnes pratiques pour un apprentissage distribué
*
Durée : 2h
### Séquence 13 : Introduction au Deep Reinforcement Learning
*
Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
*
Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation (45 min)
*
Cas d'usage et résultats (30 min)
*
Illustrations via des vidéos.
*
Durée : 2h
### Séquence 14 - AI, droit, société et éthique
*
Interprétabilité, reproductibilité, biais
*
Cadre légal
*
Privacy
*
Session interactive
*
Durée : 2h
### Séquence 15 : Clôture et bilan
*
Pour aller au delà de ce premier contact...
*
Conclusion et bilan
*
Durée 1h
