Update home authored by Jean-Luc Parouty's avatar Jean-Luc Parouty
...@@ -7,29 +7,35 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute ...@@ -7,29 +7,35 @@ Cette formation est totalement **libre sur youtube, gratuite et ouverte à toute
## Prochaine séquence ## Prochaine séquence
<table> <table>
<tr> <tr>
<th> <th>
<b>Séquence 9 : Jeudi 8 février 14h : <br>"Attention Is All You Need", quand les Transformers changent la donne !</b> <b>Séquence 10 : Jeudi 15 février 14h : <br>"`Travailler avec des données structurées` : Graph Neural Network (GNN)</b>
</th> </th>
</tr> </tr>
<tr> <tr>
<td> <td>
[<img src="uploads/07260a8da3bb4d08f9aac0c9a95f66ab/Live-9a-xs.png" width=400px>](https://www.youtube.com/@CNRS-FIDLE)
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont objectivement **révolutionnés** **le monde de l'IA** :-)
Proposé par **Ashish Vaswani** \[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br> Décrire un objet peut être très complexe. Si la représentation d'une image ou d'un signal
peut se faire de manière relativement simple avec une matrice (tenseur) ou un vecteur,
comment représenter une molécule, un réseau ou plus généralement un système complexe
comportant des interactions ?<br>
Comment travailler avec de tels objets, effectuer une prédiction ou une classification ?<br>
Au menu de cet épisode :<br> Les Graph Neural Networks (GNN) sont des réseaux de neurones capables de travailler
- **Concept** et **utilisation** des transformers<br> avec des données représentants des graphes et leur domaines d'applications sont
- Principe du **mécanisme d'attention** et du **multi-head attention**<br> extrêmement vastes : Drug design, détection de fraude, recommandation, etc.<br>
- **Architectures** des transformers (auto-regressive, auto-encoding et encoder decoder)<br>
- **Pré-entraînement** (BERT et GPT)<br> Au sommaire de cette séquence :
- **Fine tuning**<br> - Omniprésence et problématique des graphes
- **Utilisation** des transformers dans les autres domaines<br> - Approches classiques
- Les GNN
- Cas d’usages
Durée : 2h00 Durée : 2h00
</td> </td>
...@@ -42,6 +48,7 @@ En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE ...@@ -42,6 +48,7 @@ En direct sur notre chaine **YouTube** - https://www.youtube.com/@CNRS-FIDLE
</tr> </tr>
</table> </table>
Pour en savoir plus : Pour en savoir plus :
- A propos de la [**formation Fidle**](https://fidle.cnrs.fr/presentation) - A propos de la [**formation Fidle**](https://fidle.cnrs.fr/presentation)
... ...
......