Update home authored by Jean-Luc Parouty's avatar Jean-Luc Parouty
...@@ -21,26 +21,21 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute ...@@ -21,26 +21,21 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés** **le monde de l'IA** :-) De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés** **le monde de l'IA** :-)
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**,\ Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
les **Transformers** sont des réseaux de type "séquence to sequences", tout comme \
les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité \ Au menu de cet épisode :<br>
à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement \ - **Concept** et **utilisation** des transformers<br>
parallélisables.<br> - Principe du **mécanisme d'attention** et du **multi-head attention**<br>
Au menu de cet épisode :\ - **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
- **Concept** et **utilisation** des transformers\ - **Pré-entraînement** (BERT et GPT)<br>
- Principe du **mécanisme d'attention** et du **multi-head attention**\ - **Fine tuning**<br>
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)\ - **Utilisation** des transformers dans les autres domaines<br>
- **Pré-entraînement** (BERT et GPT)\
- **Fine tuning**\
- **Utilisation** des transformers dans les autres domaines\
\
Cette séquences est un prérequis important à la séquences sur les **transformers**.\
Durée : 2h00 Durée : 2h00
</td> </td>
</tr> </tr>
<tr> <tr>
<td> <td>
En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
</td> </td>
</tr> </tr>
... ...
......