@@ -21,26 +21,21 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés****le monde de l'IA** :-)
Proposé par **Ashish Vaswani**\[1\] en **2017**, sous le titre **"Attention Is All You Need"**,\
les **Transformers** sont des réseaux de type "séquence to sequences", tout comme \
les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité \
à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement \
parallélisables.<br>
Au menu de cet épisode :\
- **Concept** et **utilisation** des transformers\
- Principe du **mécanisme d'attention** et du **multi-head attention**\
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)\
- **Pré-entraînement** (BERT et GPT)\
- **Fine tuning**\
- **Utilisation** des transformers dans les autres domaines\
\
Cette séquences est un prérequis important à la séquences sur les **transformers**.\
Proposé par **Ashish Vaswani**\[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
Au menu de cet épisode :<br>
- **Concept** et **utilisation** des transformers<br>
- Principe du **mécanisme d'attention** et du **multi-head attention**<br>
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
- **Pré-entraînement** (BERT et GPT)<br>
- **Fine tuning**<br>
- **Utilisation** des transformers dans les autres domaines<br>
Durée : 2h00
</td>
</tr>
<tr>
<td>
En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
