| ... | ... | @@ -10,7 +10,7 @@ Cette formation est totalement libre, gratuite et ouverte à toutes et à tous ! |
|
|
|
|
|
|
|
## Prochaines sessions :
|
|
|
|
|
|
|
|
|**Jeudi 24 mars, 14h, Séquence 11 : <br>Passer à la vitesse supérieure : Jean-Zay et accélération GPU**|
|
|
|
|
|**Jeudi 24 mars, 14h, Séquence 12 : <br>Passer à la vitesse supérieure : Jean-Zay et accélération GPU**|
|
|
|
|
|--|
|
|
|
|
|Présentation de Jean-Zay et calcul sur GPU - Distribution du calcul - Data Parallelism <br>Model Parallelism - Hybrid Parallelism - Pipelines - Deepspeed <br>Optimisation du Data parallelism <br>Bonnes pratiques pour un apprentissage distribué<br>[<img width="500" src="uploads/e6f77360bcc26eabc6b594828841578c/JeanZay.png">](#)|
|
|
|
|
|Durée : 2h - Les paramètres de diffusion seront précisés la veille|
|
| ... | ... | |
