|
|
|
<br><br><br><br>
|
|
|
|
|
|
|
|
|
|
|
|
Bienvenu sur le site **Fidle** !
|
|
|
|
|
| ... | ... | @@ -9,11 +7,44 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute |
|
|
|
|
|
|
|
## Prochaine séquence
|
|
|
|
|
|
|
|
| **Séquence 8 : Jeudi 1er février 14h :** <br>**Données creuses et embedding - Données séquentielles et réseaux de Neurones Récurrents (RNN)** |
|
|
|
|
|-----------------------------------------------------------------------------------------------------------------------------------------------|
|
|
|
|
| [<img src="uploads/f2cf3de82a7615fe6aaa66fa82ccc822/Live-8a-xs.png" width=400px>](https://www.youtube.com/@CNRS-FIDLE) |
|
|
|
|
| Une **double séquence** :-) pour aborder **deux familles de réseaux incontournables**, permettant de traiter deux types de données essentielles, les **données creuses** et les **données séquentielles**.<br><br>Dans une **première partie**, nous nous intéresserons aux **données creuses** et nous verrons comment les techniques d'**embedding** ont pu révolutionner le traitement du langage naturel et des données à très grandes dimensions :<br>- One Hot Encoding<br>- Embedding<br>- Exemples : Classification de critiques de cinéma (sentiment analysis)<br><br>Dans la **seconde partie**, nous étudierons les **réseaux de neurones récurrents (RNN)**, permettant de travailler avec des données séquentielles :<br>- Principe des neurones récurrents<br>- Cellules et réseaux récurrents (LSTM, GRU)<br>- Exemples : Prédiction de la trajectoire d'une coccinelle virtuelle !<br><br>Cette séquences est un prérequis important à la séquences sur les **transformers**.<br>Durée : 2h30 |
|
|
|
|
| En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE |
|
|
|
|
<table>
|
|
|
|
<tr>
|
|
|
|
<th>
|
|
|
|
<b>Séquence 9 : Jeudi 8 février 14h : <br>"Attention Is All You Need", quand les Transformers changent la donne !</b>
|
|
|
|
</th>
|
|
|
|
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[<img src="uploads/4797adb819344ac2e7b36bff0ebd94db/Live-9a-xs.png" width=400px>](https://www.youtube.com/@CNRS-FIDLE)
|
|
|
|
|
|
|
|
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés** **le monde de l'IA** :-)
|
|
|
|
|
|
|
|
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**,\
|
|
|
|
les **Transformers** sont des réseaux de type "séquence to sequences", tout comme \
|
|
|
|
les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité \
|
|
|
|
à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement \
|
|
|
|
parallélisables.<br>
|
|
|
|
Au menu de cet épisode :\
|
|
|
|
- **Concept** et **utilisation** des transformers\
|
|
|
|
- Principe du **mécanisme d'attention** et du **multi-head attention**\
|
|
|
|
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)\
|
|
|
|
- **Pré-entraînement** (BERT et GPT)\
|
|
|
|
- **Fine tuning**\
|
|
|
|
- **Utilisation** des transformers dans les autres domaines\
|
|
|
|
\
|
|
|
|
Cette séquences est un prérequis important à la séquences sur les **transformers**.\
|
|
|
|
Durée : 2h00
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
</table>
|
|
|
|
|
|
|
|
Pour en savoir plus :
|
|
|
|
|
| ... | ... | |
