... | @@ -9,9 +9,26 @@ allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, |
... | @@ -9,9 +9,26 @@ allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, |
|
Les séquences précédentes sont [disponibles en ligne sur notre chaine YouTube](https://youtube.com/@CNRS-FIDLE) :-)
|
|
Les séquences précédentes sont [disponibles en ligne sur notre chaine YouTube](https://youtube.com/@CNRS-FIDLE) :-)
|
|
La prochaine séquence est :
|
|
La prochaine séquence est :
|
|
|
|
|
|
|
|
Nous avons le plaisir de vous annoncer l'ouverture des inscriptions de la première :
|
|
|
|
|
|
|
|
## Journée Deep Learning pour la Science - JDLS2023
|
|
|
|
|
|
|
|
Les inscriptions sont ouvertes !<br>
|
|
|
|
[Inscription en ligne](https://www.eventbrite.fr/e/billets-1re-journee-deep-learning-pour-la-science-jdls-585065495647)<br>
|
|
|
|
[Information et programme](http://www.idris.fr/annonces/jdls2023.html)
|
|
|
|
|
|
|
|
[<img width=400 src="uploads/d759d657abe127ce43e655ba2c69c2a8/JDLS2023-m.png">](http://www.idris.fr/annonces/jdls2023.html)
|
|
|
|
|
|
|
|
Cet évènement aura lieu le **vendredi 12 mai 2023** à **Orsay**,<br>
|
|
|
|
dans l’amphithéâtre Blandin du Laboratoire de Physique des Solides (LPS)
|
|
|
|
|
|
|
|
Cette journée est organisée par **l'IDRIS** et **l'ANF Fidle**, avec le soutien de GENCI, MITI CNRS, EFELIA MIAI et GRICAD.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Séquence 17 : Jeudi 13 avril 2023, 14h
|
|
## Séquence 17 : Jeudi 13 avril 2023, 14h
|
|
|
|
|
|
|** Passer à la vitesse supérieure : l’accélération matérielle ?**|
|
|
|**Passer à la vitesse supérieure : l’accélération matérielle ?**|
|
|
|--|
|
|
|--|
|
|
Les modèles les plus sophistiqués exigent de longs apprentissages pour trouver un ensemble de paramètres satisfaisants relativement à la tâche que l'on souhaite accomplir. Alors que la session 16 explorait différentes méthodes pour accélérer l'apprentissage en explorant plus rapidement le paysage de la loss et donc en réduisant le nombre d'itérations nécessaires pour obtenir un modèle entraîné, cette session se concentre majoritairement sur une utilisation plus sophistiquée du matériel que l'on a potentiellement a disposition pour réaliser un même nombre d'itérations en un temps plus restreint. On pourra également utiliser des optimisations liées à la mémoire pour exploiter plus favorablement notre accélérateur ou pour faire rentrer des modèles plus volumineux en mémoire RAM.<br><br>Au menu de cette séquence :<br> <br>- Introduction sur les supercalculateurs et Jean Zay Présentation <br>- Mémoire consommée par un réseau de neurones profond<br>- Calcul accéléré par carte graphique<br> - Précision Mixte<br>- Notions basiques du calcul distribué <br>- Calcul distribué en Deep Learning par duplication ou découpage du modèle<br><br>Séquence animée par Nathan Cassereau (CNRS/IDRIS) et Bertrand Cabot (CNRS/IDRIS) Durée : 2h<br><br> <img width=250 src="uploads/f4ed191c0c1b4b568ec67b03fb812916/Acceleration.jpg">
|
|
Les modèles les plus sophistiqués exigent de longs apprentissages pour trouver un ensemble de paramètres satisfaisants relativement à la tâche que l'on souhaite accomplir. Alors que la session 16 explorait différentes méthodes pour accélérer l'apprentissage en explorant plus rapidement le paysage de la loss et donc en réduisant le nombre d'itérations nécessaires pour obtenir un modèle entraîné, cette session se concentre majoritairement sur une utilisation plus sophistiquée du matériel que l'on a potentiellement a disposition pour réaliser un même nombre d'itérations en un temps plus restreint. On pourra également utiliser des optimisations liées à la mémoire pour exploiter plus favorablement notre accélérateur ou pour faire rentrer des modèles plus volumineux en mémoire RAM.<br><br>Au menu de cette séquence :<br> <br>- Introduction sur les supercalculateurs et Jean Zay Présentation <br>- Mémoire consommée par un réseau de neurones profond<br>- Calcul accéléré par carte graphique<br> - Précision Mixte<br>- Notions basiques du calcul distribué <br>- Calcul distribué en Deep Learning par duplication ou découpage du modèle<br><br>Séquence animée par Nathan Cassereau (CNRS/IDRIS) et Bertrand Cabot (CNRS/IDRIS) Durée : 2h<br><br> <img width=250 src="uploads/f4ed191c0c1b4b568ec67b03fb812916/Acceleration.jpg">
|
|
|
|
|
... | | ... | |