De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ont<br>objectivement **révolutionnés****le monde de l'IA** :-)
De ChatGPT à DeepL ou AlphaFold, les **Transformers** sont **omniprésents** et ontobjectivement **révolutionnés****le monde de l'IA** :-)
Proposé par **Ashish Vaswani**\[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>
Proposé par **Ashish Vaswani**\[1\] en **2017**, sous le titre **"Attention Is All You Need"**, les **Transformers** sont des réseaux de type "séquence to sequences", tout comme les RNN vus lors de la dernière séquence. Leur force réside dans leur capacité à **pondérer l'importance** de **chaque terme** de la séquence et à être fortement parallélisables.<br>