... | @@ -17,7 +17,7 @@ Les dates précises seront prochainement ajoutées. |
... | @@ -17,7 +17,7 @@ Les dates précises seront prochainement ajoutées. |
|
- Séquence 4 : [Démystifier les outils mathématiques](#séquence-4-démystifier-les-outils-mathématiques)
|
|
- Séquence 4 : [Démystifier les outils mathématiques](#séquence-4-démystifier-les-outils-mathématiques)
|
|
- Séquence 5 : [Données creuses et de type textuelles (Embedding) et Stratégies d'évaluation des modèles](#séquence-5-données-creuses-et-de-type-textuelles-embedding-stratégies-dévaluation-des-modèles)
|
|
- Séquence 5 : [Données creuses et de type textuelles (Embedding) et Stratégies d'évaluation des modèles](#séquence-5-données-creuses-et-de-type-textuelles-embedding-stratégies-dévaluation-des-modèles)
|
|
- Séquence 6 : [Quand les données sont des séquences, les réseaux récurrents (RNN)](#séquence-6-quand-les-données-sont-des-séquences-les-réseaux-récurrents-rnn)
|
|
- Séquence 6 : [Quand les données sont des séquences, les réseaux récurrents (RNN)](#séquence-6-quand-les-données-sont-des-séquences-les-réseaux-récurrents-rnn)
|
|
- Séquence 7 : Un détour par PyTorch
|
|
- Séquence 7 : [Un détour par PyTorch](#séquence-5-données-creuses-et-de-type-textuelles-embedding-stratégies-dévaluation-des-modèles)
|
|
- Séquence 8 : "Attention Is All You Need", quand les Transformers changent la donne (HB,NC)
|
|
- Séquence 8 : "Attention Is All You Need", quand les Transformers changent la donne (HB,NC)
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
- Séquence 9 : Travailler avec des données structurées : Graph Neural Network(GNN)
|
|
- Séquence 9 : Travailler avec des données structurées : Graph Neural Network(GNN)
|
... | @@ -85,85 +85,97 @@ Contenus avancé, pour aller plus loin :-) |
... | @@ -85,85 +85,97 @@ Contenus avancé, pour aller plus loin :-) |
|
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
- Durée : 2h / Jeudi 5 janvier 2023, 14h
|
|
- Durée : 2h / Jeudi 5 janvier 2023, 14h
|
|
|
|
|
|
### Séquence 7 : Travailler avec des données structurées : Graph Neural Network(GNN)
|
|
### Séquence 7 : Un détour par PyTorch.
|
|
- Omniprésence et problématique des graphes
|
|
|
|
- Approches classiques
|
|
|
|
- Les GNN
|
|
|
|
- Cas d’usages
|
|
|
|
- Durée : 2h
|
|
|
|
### Séquence 8 : Un détour par PyTorch.
|
|
|
|
- Présentation générale
|
|
- Présentation générale
|
|
- Principes et objets clés pour programmer sous PyTorch
|
|
- Principes et objets clés pour programmer sous PyTorch
|
|
- Exemples : Classification et regression sous PyTorch
|
|
- Exemples : Classification et regression sous PyTorch
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 12 janvier 2023, 14h
|
|
### Séquence 9 : Des neurones pour la physique, les physics-informed neural networks (PINNS)
|
|
|
|
- Problématique
|
|
|
|
- Concepts
|
|
|
|
- Durée : 2h
|
|
|
|
|
|
|
|
### Séquence 10 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
### Séquence 8 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
- Utilisation et l'architecture classique des transformers
|
|
- Utilisation et l'architecture classique des transformers
|
|
- Principe du mécanisme d'attention et du multi-head attention
|
|
- Principe du mécanisme d'attention et du multi-head attention
|
|
- Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
- Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
- Pré-entraînement (BERT et GPT)
|
|
- Pré-entraînement (BERT et GPT)
|
|
- Fine tuning
|
|
- Fine tuning
|
|
- Utilisation des transformers dans les autres domaines
|
|
- Utilisation des transformers dans les autres domaines
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 19 janvier 2023, 14h
|
|
### Séquence 11 : Autoencodeur (AE), un exemple d'apprentissage "self supervised"
|
|
|
|
|
|
### Séquence 9 : Travailler avec des données structurées : Graph Neural Network(GNN)
|
|
|
|
- Omniprésence et problématique des graphes
|
|
|
|
- Approches classiques
|
|
|
|
- Les GNN
|
|
|
|
- Cas d’usages
|
|
|
|
- Durée : 2h / Jeudi 26 janvier 2023, 14h
|
|
|
|
|
|
|
|
### Séquence 10 : Autoencodeur (AE), un exemple d'apprentissage "self supervised"
|
|
- Principes et architecture d'un autoencodeur (AE)
|
|
- Principes et architecture d'un autoencodeur (AE)
|
|
- Espace latent - Convolution classiques et transposées
|
|
- Espace latent - Convolution classiques et transposées
|
|
- Programmation procédurale avec Keras - GPU et batch
|
|
- Programmation procédurale avec Keras - GPU et batch
|
|
- Exemple proposé : Débruitage d'images fortement bruitées
|
|
- Exemple proposé : Débruitage d'images fortement bruitées
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 2 février 2023
|
|
### Séquence 12 : Variational Autoencoder (VAE), jouer avec les espaces latents
|
|
|
|
|
|
### Séquence 11 : Variational Autoencoder (VAE), jouer avec les espaces latents
|
|
- Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
- Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
- Problématique liée aux « gros » datasets
|
|
- Problématique liée aux « gros » datasets
|
|
- Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
- Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
- Datasets clusterisés - GPU et batch
|
|
- Datasets clusterisés - GPU et batch
|
|
- Exemple proposé : Génération de portraits
|
|
- Exemple proposé : Génération de portraits
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 9 février 2023, 14h
|
|
### Séquence 13 : Generative Adversarial Networks (GAN)
|
|
|
|
|
|
### Séquence 12 : Generative Adversarial Networks (GAN)
|
|
- Principes et architecture d'un GAN
|
|
- Principes et architecture d'un GAN
|
|
- Generator - Discriminator - Apprentissage
|
|
- Generator - Discriminator - Apprentissage
|
|
- WGAN et WGAN-GP
|
|
- WGAN et WGAN-GP
|
|
- Exemple proposé : A définir
|
|
- Exemple proposé : A définir
|
|
- Jeudi 10 mars, 14h - Durée : 2h
|
|
- Durée : 2h / Jeudi 9 mars 2023, 14h
|
|
|
|
|
|
### Séquence 14 : Diffusion model, text to image
|
|
### Séquence 13 : Diffusion model, text to image
|
|
- Principes
|
|
- Principes
|
|
- (en cours de construction !)
|
|
- _(Programme en cours de finalisation)_
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 16 mars 2023, 14h
|
|
### Séquence 15 - AI, droit, société et éthique
|
|
|
|
|
|
### Séquence 14 - AI, droit, société et éthique
|
|
- Interprétabilité, reproductibilité, biais
|
|
- Interprétabilité, reproductibilité, biais
|
|
- Cadre légal
|
|
- Cadre légal
|
|
- Privacy
|
|
- Privacy
|
|
- Session interactive
|
|
- Session interactive
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 23 mars 2023, 14h
|
|
### Séquence 16 : Apprendre plus vite et moins cher, optimiser l’apprentissage
|
|
|
|
|
|
### Séquence 15 : Apprendre plus vite et moins cher, optimiser l’apprentissage
|
|
- Techniques d’optimisation
|
|
- Techniques d’optimisation
|
|
- Affinage des hyperparamètres
|
|
- Affinage des hyperparamètres
|
|
- Quand le recyclage est une force : Le transfert learning
|
|
- Quand le recyclage est une force : Le transfert learning
|
|
- Pour un poids optimal des données, utiliser le bon format de données
|
|
- Pour un poids optimal des données, utiliser le bon format de données
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 30 mars 2023, 14h
|
|
### Séquence 17 : Passer à la vitesse supérieure : l’accélération matérielle
|
|
|
|
|
|
### Séquence 16 : Passer à la vitesse supérieure : l’accélération matérielle
|
|
- Présentation de Jean-Zay et calcul sur GPU
|
|
- Présentation de Jean-Zay et calcul sur GPU
|
|
- Distribution du calcul - Data Parallelism - Model Parallelism
|
|
- Distribution du calcul - Data Parallelism - Model Parallelism
|
|
- Hybrid Parallelism - Pipelines
|
|
- Hybrid Parallelism - Pipelines
|
|
- Deepspeed - Optimisation du Data parallelism
|
|
- Deepspeed - Optimisation du Data parallelism
|
|
- Bonnes pratiques pour un apprentissage distribué
|
|
- Bonnes pratiques pour un apprentissage distribué
|
|
- Durée : 2h
|
|
- Durée : 2h / Jeudi 6 avril 2023
|
|
|
|
|
|
|
|
### Séquence 17 : Des neurones pour la physique, les physics-informed neural networks (PINNS)
|
|
|
|
- Problématique et concepts
|
|
|
|
- _(Programme en cours de finalisation)_
|
|
|
|
- Durée : 2h / Jeudi 13 avril 2023, 14h
|
|
|
|
|
|
### Séquence 18 : Introduction au Deep Reinforcement Learning
|
|
### Séquence 18 : Introduction au Deep Reinforcement Learning
|
|
- Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
|
|
- Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
|
|
- Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation (45 min)
|
|
- Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation (45 min)
|
|
- Cas d'usage et résultats (30 min)
|
|
- Cas d'usage et résultats (30 min)
|
|
- Illustrations via des vidéos.
|
|
- Illustrations via des vidéos.
|
|
- Durée : 3h
|
|
- Durée : 3h / Jeudi 4 mai 2023, 14h
|
|
|
|
|
|
### Séquence 19 : L’IA d’aujourd’hui et de bientôt demain, Bilan de saison
|
|
### Séquence 19 : L’IA d’aujourd’hui et de bientôt demain, Bilan de saison
|
|
- Grandes avancées de l’année
|
|
- Grandes avancées de l’année
|
|
- Vers les modèles généralistes
|
|
- Vers les modèles généralistes
|
|
- Bilan de saison
|
|
- Bilan de saison
|
|
- Durée 2h
|
|
- Durée 2h / Jeudi 11 mai 2023, 14h
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
![](uploads/fd909e4607c0e9858a8088b5f39f60f5/00-fidle-ender-03.svg) |
|
![](uploads/fd909e4607c0e9858a8088b5f39f60f5/00-fidle-ender-03.svg) |
|
|
|
\ No newline at end of file |