Skip to content

Changes

Page history
Update home authored by Jean-Luc Parouty's avatar Jean-Luc Parouty
Hide whitespace changes
Inline Side-by-side
home.md
View page @ 0e1f5824
......@@ -15,12 +15,13 @@ La prochaine séquence est :
## Séquence 8 : Jeudi 19 janvier, 14h
|**"Attention Is All You Need", quand les Transformers changent la donne**|
|**"Travailler avec des données structurées : Graph Neural Network (GNN)**|
|--|
|Proposé par Google et publié en 2017 par Vaswani et al. sous le titre "[Attention Is All You Need](https://arxiv.org/abs/1706.03762)", le Transformer est un réseau de type _séquence to séquence_, comme les réseaux récurrents (RNN) vus lors de la séquence 6.<br>La force des Transformers réside dans leur capacité à pondérer l'importance de chaque terme de la séquence et à être parallélisables.<br>Les Transformers ont révolutionnés de nombreux domaines, allant de la traduction automatique à AlphaFold <br> - Utilisation et l'architecture classique des transformers <br> - Principe du mécanisme d'attention et du multi-head attention <br> - Architectures des transformers (auto-regressive, auto-encoding et encoder decoder) <br> - Pré-entraînement (BERT et GPT) <br> - Fine tuning <br> - Utilisation des transformers dans les autres domaines<br>[<img width="500px" src="uploads/fe34df7412b5946379ad97e795cf38f5/Transformer-m.png">](#) <br>Illustration de [Vaswani et al.](https://arxiv.org/abs/1706.03762)|
|Décrire un objet peut être très complexe. Si la représentation d'une image ou d'un signal peut se faire de manière relativement simple avec une matrice (tenseur) ou un vecteur, **comment représenter une molécule, un réseau ou plus généralement un système complexe comportant des interactions ?** Comment travailler avec de tels objets ? <br>Les **Graph Neural Networks (GNN)** sont des réseaux de neurones capable de travailler avec des données représentant des graphes et leur domaines d'applications sont extrêmement vastes : Drug design, détection de fraude, recommandation, etc. <br>Au sommaire de cette séquences : <br> - Omniprésence et problématique des graphes <br> - Approches classiques <br> - Les GNN <br> - Cas d’usages<br>[<img width="300px" src="uploads/6dad01b3116ea18e0d731895831aaee3/Network.png">](#) <br>_« Draw me a social network, modern art » by Stable Diffusion 2.1-768_|
| La séquence sera diffusée en direct sur notre chaine **[YouTube](https://www.youtube.com/@CNRS-FIDLE)** :-)<br>Lien : https://fidle.cnrs.fr/youtube <br>or : https://www.youtube.com/@CNRS-FIDLE|
A propos de la **[formation Fidle](https://fidle.cnrs.fr/presentation)**
Découvrez le **[programme 2022/23](Fidle à distance/Programme)**
......