... | ... | @@ -74,9 +74,12 @@ L'idée est de proposer un **découpage en séquences** relativement courtes, de |
|
|
|
|
|
### Séquence 7 : "Attention Is All You Need", quand les Transformers changent la donne
|
|
|
|
|
|
* Nouvelle evolution des modeles
|
|
|
* Fine tuning
|
|
|
* Cas d'usages : BERT, GPT
|
|
|
* Utilisation et l'architecture classique des transformers
|
|
|
* Principe du mécanisme d'attention et du multi-head attention
|
|
|
* Architectures des transformers (auto-regressive, auto-encoding et encoder decoder)
|
|
|
* Pré-entraînement (BERT et GPT)
|
|
|
* Fine tuning
|
|
|
* Utilisation des transformers dans les autres domaines
|
|
|
* Jeudi 27 janvier - Durée : 2h
|
|
|
|
|
|
### Séquence 8 : Autoencodeur (AE) : un exemple d'apprentissage "self supervised"
|
... | ... | |