Skip to content

Changes

Page history
Update home authored by Jean-Luc Parouty's avatar Jean-Luc Parouty
Hide whitespace changes
Inline Side-by-side
home.md
View page @ f2a99a3f
......@@ -18,7 +18,7 @@ La prochaine séquence est :
|**"Attention Is All You Need", quand les Transformers changent la donne**|
|--|
|Proposé par Google et publié en 2017 par Vaswani et al. sous le titre "[Attention Is All You Need](https://arxiv.org/abs/1706.03762)", le Transformer est un réseau de type _séquence to séquence_, comme les réseaux récurrents (RNN) vus lors de la séquence 6.<br>La force des Transformers réside dans leur capacité à pondérer l'importance de chaque terme de la séquence et à être parallélisables.<br>Les Transformers ont révolutionnés de nombreux domaines, allant de la traduction automatique à AlphaFold <br> - Utilisation et l'architecture classique des transformers <br> - Principe du mécanisme d'attention et du multi-head attention <br> - Architectures des transformers (auto-regressive, auto-encoding et encoder decoder) <br> - Pré-entraînement (BERT et GPT) <br> - Fine tuning <br> - Utilisation des transformers dans les autres domaines<br>[<img width="500px" src="uploads/fe34df7412b5946379ad97e795cf38f5/Transformer-m.png">](#) <br>Illustration de [Vaswani et al.](https://arxiv.org/abs/1706.03762)|
| La séquence sera diffusée en direct sur notre chaine **[YouTube](https://www.youtube.com/@CNRS-FIDLE)** :-)<br>Lien : https://www.youtube.com/@CNRS-FIDLE|
| La séquence sera diffusée en direct sur notre chaine **[YouTube](https://www.youtube.com/@CNRS-FIDLE)** :-)<br>Lien : https://fidle.cnrs.fr/youtube <br>or : https://www.youtube.com/@CNRS-FIDLE|
A propos de la **[formation Fidle](https://fidle.cnrs.fr/presentation)**
......