| ... | @@ -9,28 +9,17 @@ allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, |
... | @@ -9,28 +9,17 @@ allant des concepts fondamentaux aux architectures avancées (VAE, Transformers, |
|
|
Cette formation est totalement libre, gratuite et ouverte à toutes et à tous !
|
|
Cette formation est totalement libre, gratuite et ouverte à toutes et à tous !
|
|
|
|
|
|
|
|
|
|
|
|
|
## Bonne et excellente nouvelle année à toutes et à tous !
|
|
|
|
|
|
|
|
|
|
<a href="https://fidle.cnrs.fr/misc/Fidle-2023-1024px"><img src="uploads/76574b72eb5a82cf3856ba8d00ea9326/Carte-de-voux-v1-600.jpg" width="200"></a>
|
|
|
|
|
|
|
|
|
|
Que cette nouvelle année puisse vous apporter santé, bonheur
|
|
|
|
|
...et de nombreux projets riches de sens !
|
|
|
|
|
|
|
|
|
|
Images générées via le modèle [StableDiffusion 2](https://beta.dreamstudio.ai),
|
|
|
|
|
_"A Happy red whale on a blue ocean paper"_.
|
|
|
|
|
Idée et réalisation: Pierre C. (IDRIS)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Les séquences précédentes sont [disponibles en ligne sur notre chaine YouTube](https://youtube.com/@CNRS-FIDLE) :-)
|
|
Les séquences précédentes sont [disponibles en ligne sur notre chaine YouTube](https://youtube.com/@CNRS-FIDLE) :-)
|
|
|
La prochaine séquence est :
|
|
La prochaine séquence est :
|
|
|
|
|
|
|
|
|
|
|
|
|
## Séquence 7 : Jeudi 12 janvier, 14h
|
|
## Séquence 8 : Jeudi 17 janvier, 14h
|
|
|
|
|
|
|
|
|**Un détour par PyTorch**|
|
|
|**"Attention Is All You Need", quand les Transformers changent la donne**|
|
|
|
|--|
|
|
|--|
|
|
|
|PyTorch est une alternative à Tensorflow/Keras, développée par Méta (Facebook).<br>Présentation générale<br>Principes et objets clés pour programmer sous PyTorch<br>Tenseurs et différentiation automatique, etc.<br>Exemples : Classification et régression sous PyTorch<br>[<img width="300" src="uploads/63c49f8790b17699ff2aa1bc776e15cc/pytorch.png">](#)|
|
|
|Proposé par Google et publié en 2017 par Vaswani et al. sous le titre "[Attention Is All You Need](https://arxiv.org/abs/1706.03762)", le Transformer est un réseau de type _séquence to séquence_, comme les réseaux récurrents (RNN) vus lors de la séquence 6.<br>La force des Transformers réside dans leur capacité à pondérer l'importance de chaque terme de la séquence et à être parallélisables.<br>Les Transformers ont révolutionnés de nombreux domaines, allant de la traduction automatique à AlphaFold <br> - Utilisation et l'architecture classique des transformers <br> - Principe du mécanisme d'attention et du multi-head attention <br> - Architectures des transformers (auto-regressive, auto-encoding et encoder decoder) <br> - Pré-entraînement (BERT et GPT) <br> - Fine tuning <br> - Utilisation des transformers dans les autres domaines<br>[<img width="500px" src="uploads/fe34df7412b5946379ad97e795cf38f5/Transformer-m.png">](#) <br>Illustration de [Vaswani et al.](https://arxiv.org/abs/1706.03762)|
|
|
|
| Paramètres de diffusion :<br> Zoom : **979 0658 5216**<br>Code : **2023**<br>Lien : https://zoom.us/join <br>Diffusion simultanée en live sur notre chaine **[YouTube](https://www.youtube.com/@CNRS-FIDLE)** :-)<br>Lien : https://www.youtube.com/@CNRS-FIDLE<br>**Si la session Zoom est saturée, rendez-vous sur YouTube !**|
|
|
| La séquence sera diffusée en direct sur notre chaine **[YouTube](https://www.youtube.com/@CNRS-FIDLE)** :-)<br>Lien : https://www.youtube.com/@CNRS-FIDLE|
|
|
|
|
|
|
|
|
|
|
|
|
A propos de la **[formation Fidle](https://fidle.cnrs.fr/presentation)**
|
|
A propos de la **[formation Fidle](https://fidle.cnrs.fr/presentation)**
|
|
|
Découvrez le **[programme 2022/23](Fidle à distance/Programme)**
|
|
Découvrez le **[programme 2022/23](Fidle à distance/Programme)**
|
| ... | | ... | |
