... | ... | @@ -21,26 +21,21 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute |
|
|
|
|
|
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés** **le monde de l'IA** :-)
|
|
|
|
|
|
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**,\
|
|
|
les **Transformers** sont des réseaux de type "séquence to sequences", tout comme \
|
|
|
les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité \
|
|
|
à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement \
|
|
|
parallélisables.<br>
|
|
|
Au menu de cet épisode :\
|
|
|
- **Concept** et **utilisation** des transformers\
|
|
|
- Principe du **mécanisme d'attention** et du **multi-head attention**\
|
|
|
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)\
|
|
|
- **Pré-entraînement** (BERT et GPT)\
|
|
|
- **Fine tuning**\
|
|
|
- **Utilisation** des transformers dans les autres domaines\
|
|
|
\
|
|
|
Cette séquences est un prérequis important à la séquences sur les **transformers**.\
|
|
|
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
|
|
|
|
|
|
Au menu de cet épisode :<br>
|
|
|
- **Concept** et **utilisation** des transformers<br>
|
|
|
- Principe du **mécanisme d'attention** et du **multi-head attention**<br>
|
|
|
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
|
|
|
- **Pré-entraînement** (BERT et GPT)<br>
|
|
|
- **Fine tuning**<br>
|
|
|
- **Utilisation** des transformers dans les autres domaines<br>
|
|
|
|
|
|
Durée : 2h00
|
|
|
</td>
|
|
|
</tr>
|
|
|
<tr>
|
|
|
<td>
|
|
|
|
|
|
En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
|
|
|
</td>
|
|
|
</tr>
|
... | ... | |