... | @@ -7,142 +7,142 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
... | @@ -7,142 +7,142 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
|
* Les séquences suivantes sont globalement indépendantes.
|
|
* Les séquences suivantes sont globalement indépendantes.
|
|
* Le contenu des séquences pourra être adapté en fonction des demandes ou du contexte :-)
|
|
* Le contenu des séquences pourra être adapté en fonction des demandes ou du contexte :-)
|
|
|
|
|
|
**Une formation en 15 séquences :**
|
|
**Un programme 2022/2023 en 19 séquences :**
|
|
|
|
Ce programme est en cours de finition ;-)
|
|
* [Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.](#s%C3%A9quence-1-contexte-et-historique-de-la-r%C3%A9gression-lin%C3%A9aire-aux-r%C3%A9seaux-de-neurones)
|
|
Les dates précises seront prochainement ajoutées.
|
|
* [Séquence 2 : Réseaux convolutifs, partie 1](#s%C3%A9quence-2-r%C3%A9seaux-convolutifs-partie-1)
|
|
|
|
* [Séquence 3 : Réseaux convolutifs, partie 2](#s%C3%A9quence-3-r%C3%A9seaux-convolutifs-partie-2)
|
|
- Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
|
|
* [Séquence 4 : Démystifier les outils mathématiques](#s%C3%A9quence-4-d%C3%A9mystifier-les-outils-math%C3%A9matiques)
|
|
- Séquence 2 : Réseaux convolutifs, partie 1
|
|
* [Séquence 5 : Données creuses de dimensions variables et stratégies d'évaluation des modèles](#s%C3%A9quence-5-donn%C3%A9es-creuses-de-dimensions-variables-et-strat%C3%A9gies-d%C3%A9valuation-des-mod%C3%A8les)
|
|
- Séquence 3 : Réseaux convolutifs, partie 2
|
|
* [Séquence 6 : Données séquentielles : quand les données sont des séquences temporelles](#s%C3%A9quence-6-donn%C3%A9es-s%C3%A9quentielles-quand-les-donn%C3%A9es-sont-des-s%C3%A9quences-temporelles)
|
|
- Séquence 4 : Démystifier les outils mathématiques
|
|
* [Séquence 7 : "Attention Is All You Need", quand les Transformers changent la donne](#s%C3%A9quence-7-attention-is-all-you-need-quand-les-transformers-changent-la-donne)
|
|
- Séquence 5 : Données creuses et de type textuelles (Embedding) et Stratégies d'évaluation des modèles
|
|
* [Séquence 8 : Autoencodeur (AE) : un exemple d'apprentissage "self supervised"](#s%C3%A9quence-8-autoencodeur-ae-un-exemple-dapprentissage-self-supervised)
|
|
- Séquence 6 : Quand les données sont des séquences, les réseaux récurrents (RNN)
|
|
* [Séquence 9 : Variational Autoencoder (VAE) : apprentissage "self supervised", réseau génératif](#s%C3%A9quence-9-variational-autoencoder-vae-apprentissage-self-supervised-r%C3%A9seau-g%C3%A9n%C3%A9ratif)
|
|
- Séquence 7 : Un détour par PyTorch
|
|
* [Séquence 10 : Generative Adversarial Networks (GAN)](#s%C3%A9quence-10-generative-adversarial-networks-gan)
|
|
- Séquence 8 : "Attention Is All You Need", quand les Transformers changent la donne (HB,NC) *
|
|
* [Séquence 11 : Un détour par PyTorch.](#s%C3%A9quence-11-un-d%C3%A9tour-par-pytorch)
|
|
- Séquence 9 : Travailler avec des données structurées : Graph Neural Network(GNN) *
|
|
* [Séquence 12 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU](#s%C3%A9quence-12-passer-%C3%A0-la-vitesse-sup%C3%A9rieure-jean-zay-et-acc%C3%A9l%C3%A9ration-gpu)
|
|
- Séquence 10 : Autoencodeur (AE) : un exemple d'apprentissage "self supervised"
|
|
* [Séquence 13 : Introduction au Deep Reinforcement Learning](#s%C3%A9quence-13-introduction-au-deep-reinforcement-learning)
|
|
- Séquence 11 : Variational Autoencoder (VAE) : apprentissage "self supervised" \*
|
|
* [Séquence 14 - AI, droit, société et éthique](#s%C3%A9quence-14-ai-droit-soci%C3%A9t%C3%A9-et-%C3%A9thique)
|
|
- Revue de projets Fidle
|
|
* [Séquence 15 : Clôture et bilan](#s%C3%A9quence-15-cl%C3%B4ture-et-bilan)
|
|
- Séquence 12 : Generative Adversarial Networks (GAN) *
|
|
|
|
- Séquence 13 : Diffusion model, text to image (HB,NC,MS) **
|
|
|
|
- Séquence 14 - AI, droit, société et éthique (LR, BC, ...)
|
|
|
|
- Séquence 15 : Apprendre plus vite et moins cher, optimiser l’apprentissage (BC,LH) *
|
|
|
|
- Séquence 16 : Passer à la vitesse supérieure : l’accélération matérielle (BC,LH) **
|
|
|
|
- Séquence 17 : Des neurones pour la physique, les physics-informed neural networks (PINNS) **
|
|
|
|
- Séquence 18 : Exploration et exploitation du Deep Reinforcement Learning **
|
|
|
|
- Séquence 19 : L’IA d’aujourd’hui et de bientôt demain - Bilan de saison (Team Fidle)
|
|
|
|
|
|
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
|
|
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
|
|
|
|
- Historique et concepts fondamentaux des réseaux de neurones Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres Préparation des données - Apprentissage - Validation - Sous et sur apprentissage Fonctions d’activation - softmax
|
|
* **Historique** et **concepts fondamentaux** des réseaux de neurones\
|
|
- Exemples proposés : Régression et Classification avec des DNN
|
|
Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres\
|
|
- Durée : 3h
|
|
Préparation des données - Apprentissage - Validation - Sous et sur apprentissage\
|
|
|
|
Fonctions d’activation - softmax
|
|
|
|
* Exemples proposés : Régression et Classification avec des DNN
|
|
|
|
* Jeudi 25 novembre, 14h - Durée : 3h
|
|
|
|
|
|
|
|
### Séquence 2 : Réseaux convolutifs, partie 1
|
|
### Séquence 2 : Réseaux convolutifs, partie 1
|
|
|
|
- Principes et concepts des réseaux convolutifs (CNN)
|
|
* Principes et concepts des **réseaux convolutifs (CNN)**
|
|
- Convolutions - Dropout - Pooling
|
|
* Convolutions - Dropout - Pooling
|
|
- Exemple proposé : Classification de chiffres manuscrits
|
|
* Exemple proposé : Classification de chiffres manuscrits
|
|
- Durée : 2h
|
|
* Jeudi 2 décembre, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 3 : Réseaux convolutifs, partie 2
|
|
### Séquence 3 : Réseaux convolutifs, partie 2
|
|
|
|
- Quand les datasets et les calculs grossissent, problématiques liées à la gestion des données
|
|
|
|
- Rappel sur les convolutions - Monitoring et Tensorboard - Augmentation de données Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
|
|
|
|
- Exemple proposé : Classification de panneaux routiers
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 4 : Démystifier les outils mathématiques
|
|
|
|
- Présentation mathématique de l'optimisation par descente de gradient
|
|
|
|
- Principe de la backpropagation
|
|
|
|
- Mise en lumière de l'intérêt pratique des méthodes stochastiques
|
|
|
|
- Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
|
|
|
|
- Durée : 2h30
|
|
|
|
|
|
|
|
### Séquence 5 : Données creuses et de type textuelles (Embedding) et Stratégies d'évaluation des modèles
|
|
|
|
- Stratégies d'évaluation des modèles - Hold out, iterative hold out, k-fold, etc.
|
|
|
|
- Spécificités et gestion des données creuses/textuelles
|
|
|
|
- Principes de l'Embedding (Keras, CBOW, Skip-Gram), comment réduire les dimensions.
|
|
|
|
- Exemple proposé : Analyse de sentiment avec une analyse de critique de films.
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 6 : Quand les données sont des séquences, les réseaux récurrents (RNN)
|
|
|
|
- Données séquentielles et réseaux récurrents (RNN)
|
|
|
|
- RNN - LSTM - GRU - Spécificités des données séquentielles - Data Generator
|
|
|
|
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 7 : Travailler avec des données structurées : Graph Neural Network(GNN)
|
|
|
|
- Omniprésence et problématique des graphes
|
|
|
|
- Approches classiques
|
|
|
|
- Les GNN
|
|
|
|
- Cas d’usages
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 8 : Un détour par PyTorch.
|
|
|
|
- Présentation générale
|
|
|
|
- Principes et objets clés pour programmer sous PyTorch
|
|
|
|
- Exemples : Classification et regression sous PyTorch
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 9 : Des neurones pour la physique, les physics-informed neural networks (PINNS)
|
|
|
|
- Problématique
|
|
|
|
- Concepts
|
|
|
|
- Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 10 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
|
|
- Utilisation et l'architecture classique des transformers
|
|
|
|
- Principe du mécanisme d'attention et du multi-head attention
|
|
|
|
- Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
|
- Pré-entraînement (BERT et GPT)
|
|
|
|
- Fine tuning
|
|
|
|
- Utilisation des transformers dans les autres domaines
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 11 : Autoencodeur (AE), un exemple d'apprentissage "self supervised"
|
|
|
|
- Principes et architecture d'un autoencodeur (AE)
|
|
|
|
- Espace latent - Convolution classiques et transposées
|
|
|
|
- Programmation procédurale avec Keras - GPU et batch
|
|
|
|
- Exemple proposé : Débruitage d'images fortement bruitées
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 12 : Variational Autoencoder (VAE), jouer avec les espaces latents
|
|
|
|
- Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
|
|
- Problématique liée aux « gros » datasets
|
|
|
|
- Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
|
|
- Datasets clusterisés - GPU et batch
|
|
|
|
- Exemple proposé : Génération de portraits
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 13 : Generative Adversarial Networks (GAN)
|
|
|
|
- Principes et architecture d'un GAN
|
|
|
|
- Generator - Discriminator - Apprentissage
|
|
|
|
- WGAN et WGAN-GP
|
|
|
|
- Exemple proposé : A définir
|
|
|
|
- Jeudi 10 mars, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 14 : Diffusion model, text to image
|
|
|
|
- Principes
|
|
|
|
- (en cours de construction !)
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 15 - AI, droit, société et éthique
|
|
|
|
- Interprétabilité, reproductibilité, biais
|
|
|
|
- Cadre légal
|
|
|
|
- Privacy
|
|
|
|
- Session interactive
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 16 : Apprendre plus vite et moins cher, optimiser l’apprentissage
|
|
|
|
- Techniques d’optimisation
|
|
|
|
- Affinage des hyperparamètres
|
|
|
|
- Quand le recyclage est une force : Le transfert learning
|
|
|
|
- Pour un poids optimal des données, utiliser le bon format de données
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 17 : Passer à la vitesse supérieure : l’accélération matérielle
|
|
|
|
- Présentation de Jean-Zay et calcul sur GPU
|
|
|
|
- Distribution du calcul - Data Parallelism - Model Parallelism
|
|
|
|
- Hybrid Parallelism - Pipelines
|
|
|
|
- Deepspeed - Optimisation du Data parallelism
|
|
|
|
- Bonnes pratiques pour un apprentissage distribué
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 18 : Introduction au Deep Reinforcement Learning
|
|
|
|
- Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
|
|
|
|
- Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation (45 min)
|
|
|
|
- Cas d'usage et résultats (30 min)
|
|
|
|
- Illustrations via des vidéos.
|
|
|
|
- Durée : 3h
|
|
|
|
|
|
|
|
### Séquence 19 : L’IA d’aujourd’hui et de bientôt demain, Bilan de saison
|
|
|
|
- Grandes avancées de l’année
|
|
|
|
- Vers les modèles généralistes
|
|
|
|
- Bilan de saison
|
|
|
|
- Durée 2h
|
|
|
|
|
|
* Quand les datasets et les calculs grossissent, problématiques liées à la **gestion des données**
|
|
|
|
* Rappel sur les convolutions - Monitoring et Tensorboard - Augmentation de données\
|
|
|
|
Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
|
|
|
|
* Exemple proposé : Classification de panneaux routiers
|
|
|
|
* Jeudi 9 décembre, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 4 : Démystifier les outils mathématiques
|
|
|
|
|
|
|
|
* Présentation mathématique de l'optimisation par descente de gradient
|
|
|
|
* Principe de la backpropagation
|
|
|
|
* Mise en lumière de l'intérêt pratique des méthodes stochastiques
|
|
|
|
* Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
|
|
|
|
* Jeudi 16 décembre, 14h - Durée : 2h30
|
|
|
|
|
|
|
|
### Séquence 5 : Données creuses de dimensions variables et stratégies d'évaluation des modèles
|
|
|
|
|
|
|
|
* Stratégies d'évaluation des modèles - Hold out, iterative hold out, k-fold, etc.
|
|
|
|
* Spécificités et gestion des données creuses/textuelles
|
|
|
|
* Principes de l'Embedding (Keras, CBOW, Skip-Gram), comment réduire les dimensions.
|
|
|
|
* Exemple proposé : Analyse de sentiment avec une analyse de critique de films.
|
|
|
|
* Jeudi 6 janvier, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 6 : Données séquentielles : quand les données sont des séquences temporelles
|
|
|
|
|
|
|
|
* Données séquentielles et réseaux récurrents (RNN)
|
|
|
|
* RNN - LSTM - GRU - Spécificités des données séquentielles - Data Generator
|
|
|
|
* Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
|
|
* Jeudi 20 janvier, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 7 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
|
|
|
|
|
|
* Utilisation et l'architecture classique des transformers
|
|
|
|
* Principe du mécanisme d'attention et du multi-head attention
|
|
|
|
* Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
|
* Pré-entraînement (BERT et GPT)
|
|
|
|
* Fine tuning
|
|
|
|
* Utilisation des transformers dans les autres domaines
|
|
|
|
* Jeudi 27 janvier - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 8 : Autoencodeur (AE) : un exemple d'apprentissage "self supervised"
|
|
|
|
|
|
|
|
* Principes et architecture d'un autoencodeur (AE)
|
|
|
|
* Espace latent - Convolution classiques et transposées
|
|
|
|
* Programmation procédurale avec Keras - GPU et batch
|
|
|
|
* Exemple proposé : Débruitage d'images fortement bruitées
|
|
|
|
* Jeudi 3 février, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 9 : Variational Autoencoder (VAE) : apprentissage "self supervised", réseau génératif
|
|
|
|
|
|
|
|
* Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
|
|
* Problématique liée aux « gros » datasets
|
|
|
|
* Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
|
|
* Datasets clusterisés - GPU et batch
|
|
|
|
* Exemple proposé : Génération de portraits
|
|
|
|
* Jeudi 10 février, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 10 : Generative Adversarial Networks (GAN)
|
|
|
|
|
|
|
|
* Principes et architecture d'un GAN
|
|
|
|
* Generator - Discriminator - Apprentissage
|
|
|
|
* WGAN et WGAN-GP
|
|
|
|
* Exemple proposé : A définir
|
|
|
|
* Jeudi 10 mars, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 11 : Un détour par PyTorch.
|
|
|
|
|
|
|
|
* Présentation générale
|
|
|
|
* Principes et objets clés pour programmer sous PyTorch
|
|
|
|
* Exemples : Classification et regression sous PyTorch
|
|
|
|
* Jeudi 17 mars, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 12 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU
|
|
|
|
|
|
|
|
* Présentation de Jean-Zay et calcul sur GPU
|
|
|
|
* Distribution du calcul - Data Parallelism - Model Parallelism
|
|
|
|
* Hybrid Parallelism - Pipelines
|
|
|
|
* Deepspeed - Optimisation du Data parallelism
|
|
|
|
* Bonnes pratiques pour un apprentissage distribué
|
|
|
|
* Jeudi 24 mars, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 13 : Introduction au Deep Reinforcement Learning
|
|
|
|
|
|
|
|
* Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
|
|
|
|
* Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation (45 min)
|
|
|
|
* Cas d'usage et résultats (30 min)
|
|
|
|
* Illustrations via des vidéos.
|
|
|
|
* Jeudi 31 mars, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 14 - AI, droit, société et éthique
|
|
|
|
|
|
|
|
* Interprétabilité, reproductibilité, biais
|
|
|
|
* Cadre légal
|
|
|
|
* Privacy
|
|
|
|
* Session interactive
|
|
|
|
* Jeudi 7 avril, 14h - Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 15 : Clôture et bilan
|
|
|
|
|
|
|
|
* Pour aller au delà de ce premier contact...
|
|
|
|
* Conclusion et bilan
|
|
|
|
* Jeudi 14 avril, 14h - Durée 1h
|
|
|
|
|
|
|
|
![](uploads/fd909e4607c0e9858a8088b5f39f60f5/00-fidle-ender-03.svg) |
|
![](uploads/fd909e4607c0e9858a8088b5f39f60f5/00-fidle-ender-03.svg) |
|
\ No newline at end of file |
|
|