... | @@ -47,175 +47,198 @@ Un peu de complexité, mais thématique incontournable |
... | @@ -47,175 +47,198 @@ Un peu de complexité, mais thématique incontournable |
|
(![](uploads/bb2d1ee0632181e8d41dcdf9c2f1b517/00-fidle-piment-x2.png)) :
|
|
(![](uploads/bb2d1ee0632181e8d41dcdf9c2f1b517/00-fidle-piment-x2.png)) :
|
|
Contenus avancé, pour aller plus loin :-)
|
|
Contenus avancé, pour aller plus loin :-)
|
|
|
|
|
|
|
|
## Un programme 2024/2025 en 20 Séquences et 3 parties.
|
|
### Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.
|
|
|
|
- Historique et concepts fondamentaux des réseaux de neurones Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres Préparation des données - Apprentissage - Validation - Sous et sur apprentissage Fonctions d’activation - softmax
|
|
Ce programme est en cours de finition 😀 :
|
|
- Exemples proposés : Régression et Classification avec des DNN
|
|
|
|
- Durée : 3h / Jeudi 17 novembre 2022, 14h
|
|
## **I. Bases, Concepts et enjeux**
|
|
<br>[back to home](#toc)
|
|
|
|
|
|
L'apprentissage profond via des réseaux de neurones (Deep Learning) à totalement révolutionné l'Intelligence artificielle ces dernières années et ces incroyables avancées (ChatGPT, Stable Diffusion, DeepL, etc.) soulèvent de nombreuses questions liées à l'éthique, la sécurité, la vie privée et l'impact sur l'emploi.
|
|
### Séquence 2 : Réseaux convolutifs, partie 1
|
|
|
|
- Principes et concepts des réseaux convolutifs (CNN)
|
|
L'objectif de cette première partie, **accessible à toutes et à tous**, **sans aucun prérequis**, est de comprendre ce qu'est l'**Intelligence artificielle** et plus particulièrement le **Deep Learning**, d'en appréhender l'**histoire**, les **concepts** et les **grands enjeux** sociétaux, éthiques et technologiques.
|
|
- Convolutions - Dropout - Pooling
|
|
|
|
- Exemple proposé : Classification de chiffres manuscrits
|
|
Cette première partie est composées de 4 séquences, de novembre à décembre 2023:
|
|
- Durée : 2h / Jeudi 24 novembre 2022, 14h
|
|
|
|
<br>[back to home](#toc)
|
|
* **Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones**
|
|
|
|
|
|
### Séquence 3 : Réseaux convolutifs, partie 2
|
|
> **Durée : 2h / Jeudi 16 novembre 2023, 14h**
|
|
- Quand les datasets et les calculs grossissent, problématiques liées à la gestion des données
|
|
* Intelligence artificielle, machine learning et deep learnings ?
|
|
- Rappel sur les convolutions - Monitoring et Tensorboard - Augmentation de données Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
|
|
* Historique et concepts fondamentaux des réseaux de neurones.
|
|
- Exemple proposé : Classification de panneaux routiers
|
|
* De la régression linéaire au neurone artificiel, quelques grands principes
|
|
- Durée : 2h / Jeudi 1er décembre 2022, 14h
|
|
* Principe de l'apprentissage, sous et sur apprentissage
|
|
<br>[back to home](#toc)
|
|
* Enjeux et limites
|
|
|
|
* Illustrations proposées :
|
|
### Séquence 4 : Démystifier les outils mathématiques
|
|
- Prédiction œnologique
|
|
- Présentation mathématique de l'optimisation par descente de gradient
|
|
- Classification d'image
|
|
- Principe de la backpropagation
|
|
* **Séquence 2 : Des données et des modèles, L’enfer des données et autres problèmes d’explicabilité**
|
|
- Mise en lumière de l'intérêt pratique des méthodes stochastiques
|
|
|
|
- Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
|
|
> **Durée : 2h / Jeudi 23 novembre 2023, 14h**
|
|
- Durée : 2h30 / Jeudi 8 décembre 2022, 14h
|
|
* Les données, pourquoi sont-elles importantes ?
|
|
<br>[back to home](#toc)
|
|
* L'enfer des données : données biaisées, erronées, manquantes ou trop nombreuses !
|
|
|
|
* Pourquoi les modèles sont-ils importants?
|
|
|
|
* Quel modèle choisir pour mon problème ?
|
|
### Séquence 5 : <br>Stratégies d'évaluation des modèles<br>Données creuses et de type textuelles (Embedding)
|
|
* L'explicabilité des modèles en question, comment expliquer le résultat d'une IA ?
|
|
- Stratégies d'évaluation des modèles - Hold out, iterative hold out, k-fold, etc.
|
|
* **Séquence 3 : Démo / illustration (LLM + génération d’image)**
|
|
- Spécificités et gestion des données creuses/textuelles
|
|
|
|
- Principes de l'Embedding (Keras, CBOW, Skip-Gram), comment réduire les dimensions.
|
|
> **Durée : 2h / Jeudi 30 novembre 2023, 14h**
|
|
- Exemple proposé : Analyse de sentiment avec une analyse de critique de films.
|
|
* Une démonstration complète pour tout voir et tout comprendre !
|
|
- Durée : 2h / Jeudi 15 décembre 2022, 14h
|
|
* Objectif : Mettre en œuvre une IA conversationnelle, capable de générer des images
|
|
<br>[back to home](#toc)
|
|
* Configuration d'un Modèle de Langage (LLM)
|
|
|
|
* Utilisez un modèle de langage pour générer une description textuelle de l'image.
|
|
### Séquence 6 : Quand les données sont des séquences, les réseaux récurrents (RNN)
|
|
* Utilisez un modèle de génération d'image pour créer une image à partir d'une description
|
|
- Données séquentielles et réseaux récurrents (RNN)
|
|
* **Séquence 4 : AI, droit, société et éthique**
|
|
- RNN - LSTM - GRU - Spécificités des données séquentielles - Data Generator
|
|
|
|
- Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
|
|
> **Durée : 2h / Jeudi 7 décembre 2023, 14h**
|
|
- Durée : 2h / Jeudi 5 janvier 2023, 14h
|
|
* L'impact croissant de l'IA sur la société et les enjeux qui en découlent
|
|
<br>[back to home](#toc)
|
|
* Le problème des biais, de l'interprétabilité et de la reproductibilité des résultats
|
|
|
|
* Examen des questions éthiques soulevées par l'utilisation de l'IA, tels que la discrimination algorithmique et la confidentialité des données.
|
|
### Séquence 7 : Un détour par PyTorch.
|
|
* Analyse du cadre légal concernant le développement et l'utilisation de l'IA.
|
|
- Présentation générale
|
|
* Session interactive
|
|
- Principes et objets clés pour programmer sous PyTorch
|
|
|
|
- Exemples : Classification et regression sous PyTorch
|
|
## II. Résoudre mon problème avec de l’IA 🛰️
|
|
- Durée : 2h / Jeudi 12 janvier 2023, 14h
|
|
|
|
<br>[back to home](#toc)
|
|
L' IA est comme une boîte à outils magique qui peut résoudre toutes sortes de problèmes. Mais avant de pouvoir l'utiliser, il y a quelques choses que nous devons savoir. Imaginez que vous ayez une boîte à outils géniale, mais que vous ne sachiez pas comment l'utiliser. C'est là que les fondamentaux, la base Python et les mathématiques entrent en jeu.
|
|
|
|
|
|
### Séquence 8 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
Cette deuxieme partie, **accessible à un large public, avec des prérequis de base en Python et en mathématiques,** vise à explorer en **profondeur les architectures du Deep Learning,** ainsi que les **méthodologies d'apprentissage associées**.
|
|
- Utilisation et l'architecture classique des transformers
|
|
|
|
- Principe du mécanisme d'attention et du multi-head attention
|
|
Cette deuxième partie est composées de 11 séquences, de Janvier à Avril 2024:
|
|
- Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
|
- Pré-entraînement (BERT et GPT)
|
|
* **Séquence 5 : Mathématiques, gradients everywhere !!!**
|
|
- Fine tuning
|
|
|
|
- Utilisation des transformers dans les autres domaines
|
|
> **Durée : 2h / Jeudi 11 janvier 2024, 14h**
|
|
- Durée : 2h / Jeudi 19 janvier 2023, 14h
|
|
* Présentation mathématique de l'optimisation par descente de gradient
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
* Principe de la backpropagation
|
|
<br>[back to home](#toc)
|
|
* Mise en lumière de l'intérêt pratique des méthodes stochastiques
|
|
|
|
* Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
|
|
### Séquence 9 : Travailler avec des données structurées : Graph Neural Network(GNN) (New !)
|
|
* **Séquence 6 : Méthodologie des modèles/apprentissage + fine-tuning + TP**
|
|
|
|
|
|
|
|
> **Durée : 2h / Jeudi 18 Janvier 2024, 14h**
|
|
|
|
* Présentation de l'apprentissage automatique et des différents types de modèles
|
|
|
|
* Transfer Learning
|
|
|
|
* Fine-Tuning de Modèles Pré-entraînés
|
|
|
|
* Évaluation des performances des modèles
|
|
|
|
* **Séquence 7 : Réseaux convolutifs CNN**
|
|
|
|
|
|
|
|
> **Durée: 2h / Jeudi 25 Janvier 2024, 14h**
|
|
|
|
* Principes et concepts des réseaux convolutifs (CNN)
|
|
|
|
* Convolutions - Dropout - Pooling
|
|
|
|
* Monitoring et Tensorboard - Augmentation de données Passage à l'échelle
|
|
|
|
* Exemple simple de classification de panneaux routiers ou de detections d'objects
|
|
|
|
* **Séquence 8 : RNN & Transformers**
|
|
|
|
|
|
|
|
> **Durée: 2h / Jeudi 1 février 2024, 14h**
|
|
|
|
* Au tout début étaient les RNN (A valider)
|
|
|
|
* Utilisation et l'architecture classique des transformers
|
|
|
|
* Principe du mécanisme d'attention et du multi-head attention
|
|
|
|
* Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
|
* Pré-entraînement (BERT et GPT) et Fine tuning
|
|
|
|
* Utilisation des transformers dans les autres domaines
|
|
|
|
* **Séquence 9 : Autoencodeur (AE), un exemple d'apprentissage self supervised**
|
|
|
|
|
|
|
|
> **Durée : 2h / jeudi 8 fevrier 2024 , 14h**
|
|
|
|
* Principes et architecture d'un autoencodeur (AE)
|
|
|
|
* Espace latent - Convolution classiques et transposées
|
|
|
|
* Programmation procédurale avec pytorch ligthning - GPU et batch
|
|
|
|
* Exemple proposé : Débruitage d'images fortement bruitées
|
|
|
|
* **Séquence 10 : Variational Autoencoder (VAE), jouer avec les espaces latents**
|
|
|
|
|
|
|
|
> **Durée : 2h / jeudi 15 fevrier 2024, 14h**
|
|
|
|
* Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
|
|
* Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
|
|
* Problématique liée aux gros datasets
|
|
|
|
* Datasets clusterisés - GPU et batch
|
|
|
|
* Exemple proposé : Génération de données
|
|
|
|
* **Séquence 11 : Generative Adversarial Networks (GAN)**
|
|
|
|
|
|
|
|
> **Durée : 2h / jeudi 7 Mars 2024, 14h**
|
|
|
|
* Principes et architecture d'un GAN
|
|
|
|
* Generator - Discriminator - Apprentissage
|
|
|
|
* WGAN et WGAN-GP
|
|
|
|
* **Séquence 12: Travailler avec des données structurées : Graph Neural Network (GNN)**
|
|
|
|
*Myriam, Thibaut*
|
|
|
|
|
|
|
|
> **Durée : 2h / Jeudi 14 Mars 2024, 14h**
|
|
- Omniprésence et problématique des graphes
|
|
- Omniprésence et problématique des graphes
|
|
- Approches classiques
|
|
- Approches classiques
|
|
- Les GNN
|
|
- Les GNNs
|
|
- Cas d’usages
|
|
- Cas d'usages
|
|
- Durée : 2h / Jeudi 26 janvier 2023, 14h
|
|
* **Séquence 13 : Diffusion model, text to image**
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
<br>[back to home](#toc)
|
|
> Durée : 2h / jeudi 21 Mars 2024, 14h
|
|
|
|
* Principe des Diffusion Model
|
|
### Séquence 10 : Autoencodeur (AE), un exemple d'apprentissage "self supervised"
|
|
* Le processus et l’architecture du DDPM
|
|
- Principes et architecture d'un autoencodeur (AE)
|
|
* Améliorations et optimisations des DDPM
|
|
- Espace latent - Convolution classiques et transposées
|
|
* Exemple proposé : Génération d’une garde robe
|
|
- Programmation procédurale avec Keras - GPU et batch
|
|
* **Séquence 14 : Tactiques et stratégies du Deep Reinforcement Learning**
|
|
- Exemple proposé : Débruitage d'images fortement bruitées
|
|
|
|
- Durée : 2h / Jeudi 2 février 2023
|
|
> **Durée : 2h / Jeudi 28 Mars, 14h**
|
|
<br>[back to home](#toc)
|
|
* Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc
|
|
|
|
* Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des d'approximation fonctions
|
|
### Séquence 11 : Variational Autoencoder (VAE), jouer avec les espaces latents
|
|
* Cas d'usage, résultats et perspectives
|
|
- Principes et architecture d’un Variational AutoEncodeur (VAE)
|
|
* Illustrations via des vidéos.
|
|
- Projection gaussienne - Génération de données - Morphing dans l'espace latent
|
|
* **Séquence 15 : Des neurones pour la physique, les physics-informed neural networks (PINNS)**
|
|
- Problématique liée aux « gros » datasets
|
|
|
|
- Datasets clusterisés - GPU et batch
|
|
> **Durée: 2h / Jeudi 4 avril 2024, 14h**
|
|
- Exemple proposé : Génération de données
|
|
* Problématique et concepts
|
|
- Durée : 2h / Jeudi 9 février 2023, 14h
|
|
* Qu'est ce qu'un PINNS
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
* Exemple de résolution de probléme diret ( cas classique)
|
|
<br>[back to home](#toc)
|
|
* Exemple de résolution de problème Inverse (cas classique)
|
|
|
|
* Loss Regularization
|
|
### Séquence 12 : ~~Revue de projet Fidle~~
|
|
* Differents types of sampling
|
|
La présentation des projets sera intégrée à la future journée "Deep Learning pour la Science", prévue en mai.
|
|
|
|
- Journée en présentiel, organisée à Orsay
|
|
### III. Acteur de l’IA, Optimisation, conception, etc. 🛠️
|
|
- Durant cette journée, chacun sera invité à présenter, s'il le souhaite, son ou ses projets
|
|
|
|
<br>[back to home](#toc)
|
|
L' IA est devenue l'un des domaines technologiques les plus influents de notre époque, révolutionnant divers secteurs de l'industrie et de la recherche. Au cœur de cette révolution se trouvent les acteurs de l'IA, des chercheurs et des ingénieurs qui conçoivent, développent et optimisent des systèmes intelligents capables d'apprendre et de prendre des décisions autonomes.
|
|
|
|
|
|
|
|
L'optimisation, tant au niveau des modèles que des algorithmes, est un pilier essentiel de cette discipline, visant à améliorer les performances et l'efficacité des systèmes d'IA. La conception d'architectures d'apprentissage profond, la sélection de données pertinentes et la gestion des ressources computationnelles sont autant de défis qui incombent aux acteurs de l'IA.
|
|
### Séquence 13 : Generative Adversarial Networks (GAN)
|
|
|
|
- Principes et architecture d'un GAN
|
|
Cette partie presentera 5 séquences :
|
|
- Generator - Discriminator - Apprentissage
|
|
|
|
- WGAN et WGAN-GP
|
|
* **Séquence 16 : Fusion de modèle / multi-modalité**
|
|
- Exemple proposé : A définir
|
|
|
|
- Durée : 2h / Jeudi 9 mars 2023, 14h
|
|
> **Durée : 2h / jeudi 11 avril, 14h**
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
- Présentation de la fusion de modèles et de l'apprentissage multi-modal
|
|
<br>[back to home](#toc)
|
|
- Types de données multimodales (texte, image, audio, etc.).
|
|
|
|
- Méthodes de fusion (concaténation, pondération, modèles d'apprentissage profond, etc.)
|
|
### Séquence 14 : Diffusion model, text to image (New !)
|
|
- Préparation des données multimodales pour la fusion
|
|
- Principe des Diffusion Model
|
|
- TP - Mise en œuvre de la fusion de modèles profonds.
|
|
- Le processus et l’architecture du DDPM
|
|
* **Séquence 17 : Apprendre plus vite et moins cher, optimiser l’apprentissage et réduire notre empreinte carbone**
|
|
- Améliorations et optimisations des DDPM
|
|
|
|
- Utilisation des Diffusion Model
|
|
> **Durée : 2h / jeudi 2 mai, 14h**
|
|
- Exemple proposé : Génération d’une garde robe
|
|
* Techniques d’optimisation
|
|
- Durée : 2h / Jeudi 16 mars 2023, 14h
|
|
* Affinage des hyperparamètres
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
* Quand le recyclage est une force : Le transfert learning
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
* Pour un poids optimal des données, utiliser le bon format de données
|
|
<br>[back to home](#toc)
|
|
* **Séquence 18 : Passer à la vitesse supérieure : l’accélération matérielle**
|
|
|
|
*Myriam, Nathan*
|
|
### Séquence 15 - AI, droit, société et éthique
|
|
|
|
- Interprétabilité, reproductibilité, biais
|
|
> **Durée : 2h / Jeudi 16 mai, 14h**
|
|
- Cadre légal
|
|
* Présentation de Jean-Zay et calcul sur GPU
|
|
- Privacy
|
|
* Distribution du calcul - Data Parallelism - Model Parallelism
|
|
- Session interactive
|
|
* Hybrid Parallelism - Pipelines
|
|
- Durée : 2h / Jeudi 23 mars 2023, 14h
|
|
* Deepspeed - Optimisation du Data parallelism
|
|
<br>[back to home](#toc)
|
|
* Bonnes pratiques pour un apprentissage distribué
|
|
|
|
* **Séquence 19 : Nouveaux Frameworks d’apprentissage / Nouvelles Technos**
|
|
### Séquence 16 : Apprendre plus vite et moins cher, optimiser l’apprentissage (New !)
|
|
|
|
- Techniques d’optimisation
|
|
> **Durée : 2h / Jeudi 23 mai, 14h**
|
|
- Affinage des hyperparamètres
|
|
* Présentation aux nouveaux frameworks d'apprentissage
|
|
- Quand le recyclage est une force : Le transfert learning
|
|
* Comparaison des caractéristiques des frameworks.
|
|
- Pour un poids optimal des données, utiliser le bon format de données
|
|
* Examen des applications des nouvelles technologies en apprentissage automatique
|
|
- Durée : 2h / Jeudi 30 mars 2023, 14h
|
|
* **Séquence 20 : Cas pratiques / retour d’expérience**
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
<br>[back to home](#toc)
|
|
> **Durée : 2h / jeudi 30 mai, 14h**
|
|
|
|
* fine tuning et mise en œuvre d’un LLM
|
|
### Séquence 17 : Passer à la vitesse supérieure : l’accélération matérielle
|
|
* exemple multimodal illustrant un travail de préparation et d’adaptation
|
|
- Présentation de Jean-Zay et calcul sur GPU
|
|
* **JDLS2024 : Perspective /Futur (JDLS) 👩🔬**
|
|
- Distribution du calcul - Data Parallelism - Model Parallelism
|
|
|
|
- Hybrid Parallelism - Pipelines
|
|
> Vendredi 24 Mai 2024, 9h30-17h30
|
|
- Deepspeed - Optimisation du Data parallelism
|
|
|
|
- Bonnes pratiques pour un apprentissage distribué
|
|
L'IDRIS et l'ANF Fidle, avec le soutien de GENCI, MITI CNRS, EFELIA MIAI et GRICAD, vous proposent une journée Deep Learning pour La Science (JDLS).
|
|
- Durée : 2h / Jeudi 13 avril 2023
|
|
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
Cette journée clôturera, en présentiel hybride, notre saison Fidle 🙂
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
<br>[back to home](#toc)
|
|
Cet évènement aura lieu le **vendredi 24 mai 2024** au siège du CNRS, à Paris Michel-Ange, dans le grand auditorium.
|
|
|
|
|
|
### Séquence 18 : Tactiques et stratégies du Deep Reinforcement Learning
|
|
|
|
- Algorithme de Reinforcement Learning : Q-Learning, SARSA, etc (45 min)
|
|
|
|
- Deep reinforcement Learning : pour passer à des espaces à hautes dimensionalités via des fonctions d'approximation
|
|
|
|
- Cas d'usage, résultats et perspectives
|
|
|
|
- Illustrations via des vidéos.
|
|
|
|
- Durée : 3h / Jeudi 20 avril 2023, 14h
|
|
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
<br>[back to home](#toc)
|
|
|
|
|
|
|
|
### Séquence 19 : Des neurones pour la physique, les physics-informed neural networks (PINNS) (New !)
|
|
|
|
- Problématique et concepts
|
|
|
|
- _(Programme en cours de finalisation)_
|
|
|
|
- Durée : 2h / Jeudi 4 mai 2023, 14h
|
|
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
![](uploads/c43a9c778cef4e343062d267ee5f8ffb/00-fidle-piment-x1.png)
|
|
|
|
<br>[back to home](#toc)
|
|
|
|
|
|
|
|
|
|
|
|
### Séquence 20 : Journée Deep Learning pour la Science - JDLS2023
|
|
|
|
L'IDRIS et l'ANF Fidle, avec le soutien de GENCI, MITI CNRS, EFELIA MIAI et GRICAD, organisent une journée **Deep Learning pour la science**.
|
|
|
|
Cette journée clôturera, en présentiel hybride, notre saison Fidle :-)<br>
|
|
|
|
Cet évènement aura lieu le **vendredi 12 mai 2023** à Orsay, dans l’amphithéâtre Blandin du Laboratoire de Physique des Solides (LPS).
|
|
|
|
<br>[back to home](#toc)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
... | | ... | |