De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont objectivement **révolutionnés****le monde de l'IA** :-)
Proposé par **Ashish Vaswani**\[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
Décrire un objet peut être très complexe. Si la représentation d'une image ou d'un signal
peut se faire de manière relativement simple avec une matrice (tenseur) ou un vecteur,
comment représenter une molécule, un réseau ou plus généralement un système complexe
comportant des interactions ?<br>
Comment travailler avec de tels objets, effectuer une prédiction ou une classification ?<br>
Au menu de cet épisode :<br>
- **Concept** et **utilisation** des transformers<br>
- Principe du **mécanisme d'attention** et du **multi-head attention**<br>
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
- **Pré-entraînement** (BERT et GPT)<br>
- **Fine tuning**<br>
- **Utilisation** des transformers dans les autres domaines<br>
Les Graph Neural Networks (GNN) sont des réseaux de neurones capables de travailler
avec des données représentants des graphes et leur domaines d'applications sont
extrêmement vastes : Drug design, détection de fraude, recommandation, etc.<br>
Au sommaire de cette séquence :
- Omniprésence et problématique des graphes
- Approches classiques
- Les GNN
- Cas d’usages
Durée : 2h00
</td>
...
...
@@ -42,6 +48,7 @@ En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
</tr>
</table>
Pour en savoir plus :
- A propos de la [**formation Fidle**](https://fidle.cnrs.fr/presentation)
