| ... | ... | @@ -7,29 +7,35 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute |
|
|
|
|
|
|
|
## Prochaine séquence
|
|
|
|
|
|
|
|
|
|
|
|
<table>
|
|
|
|
<tr>
|
|
|
|
<th>
|
|
|
|
<b>Séquence 9 : Jeudi 8 février 14h : <br>"Attention Is All You Need", quand les Transformers changent la donne !</b>
|
|
|
|
<b>Séquence 10 : Jeudi 15 février 14h : <br>"`Travailler avec des données structurées` : Graph Neural Network (GNN)</b>
|
|
|
|
</th>
|
|
|
|
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[<img src="uploads/07260a8da3bb4d08f9aac0c9a95f66ab/Live-9a-xs.png" width=400px>](https://www.youtube.com/@CNRS-FIDLE)
|
|
|
|
|
|
|
|
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont objectivement **révolutionnés** **le monde de l'IA** :-)
|
|
|
|
|
|
|
|
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
|
|
|
|
Décrire un objet peut être très complexe. Si la représentation d'une image ou d'un signal
|
|
|
|
peut se faire de manière relativement simple avec une matrice (tenseur) ou un vecteur,
|
|
|
|
comment représenter une molécule, un réseau ou plus généralement un système complexe
|
|
|
|
comportant des interactions ?<br>
|
|
|
|
|
|
|
|
Comment travailler avec de tels objets, effectuer une prédiction ou une classification ?<br>
|
|
|
|
|
|
|
|
Au menu de cet épisode :<br>
|
|
|
|
- **Concept** et **utilisation** des transformers<br>
|
|
|
|
- Principe du **mécanisme d'attention** et du **multi-head attention**<br>
|
|
|
|
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
|
|
|
|
- **Pré-entraînement** (BERT et GPT)<br>
|
|
|
|
- **Fine tuning**<br>
|
|
|
|
- **Utilisation** des transformers dans les autres domaines<br>
|
|
|
|
Les Graph Neural Networks (GNN) sont des réseaux de neurones capables de travailler
|
|
|
|
avec des données représentants des graphes et leur domaines d'applications sont
|
|
|
|
extrêmement vastes : Drug design, détection de fraude, recommandation, etc.<br>
|
|
|
|
|
|
|
|
Au sommaire de cette séquence :
|
|
|
|
- Omniprésence et problématique des graphes
|
|
|
|
- Approches classiques
|
|
|
|
- Les GNN
|
|
|
|
- Cas d’usages
|
|
|
|
|
|
|
|
Durée : 2h00
|
|
|
|
</td>
|
| ... | ... | @@ -42,6 +48,7 @@ En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE |
|
|
|
</tr>
|
|
|
|
</table>
|
|
|
|
|
|
|
|
|
|
|
|
Pour en savoir plus :
|
|
|
|
|
|
|
|
- A propos de la [**formation Fidle**](https://fidle.cnrs.fr/presentation)
|
| ... | ... | |
