Skip to content

GitLab

Last edited by Jean-Luc Parouty
Page history

Présentation

- Voir ou revoir en ligne -

https://www.youtube.com/channel/UC4Sukzudhbwr6fs10cXrJsQ

- Prochain rendez-vous -

Paramètres Zoom :
https://grenoble-inp.zoom.us/j/96664929318
ID de réunion : 966 6492 9318
Code secret : 1515

Jeudi 22 avril, 14h, Séquence 10 :
Bilan et perspectives :-)
Petite synthèse en quelques chiffres
Pistes et perspectives d'amélioration ou d'évolution
Discussions et échanges
Durée : 1h

Voir le programme
Pour rester informé : Abonnez-vous à la liste !

- Sommaire -

Fidle à distance

Faute de pouvoir organiser des sessions en présentiel, nous vous proposons une session Fidle à distance :-)

Les objectifs de cette session à distances sont les mêmes que pour les sessions en présentiel.

Pour des questions de sécurité et à moins que vous ne disposiez déjà d'un compte, les moyens de calcul mutualisés ne peuvant être utilisés en formation à distance.
Chaque participant est donc invité à installer localement son environnement Fidle.

L'accès aux sessions est totalement libre !
Zéro inscription, zéro frais, disponibilité libre et totale de l'ensemble de la formation :-)
Licence :

Cette action est organisée dans le cadre des réseaux métiers du CNRS : Resinfo/SARI et DevLOG,
avec le soutien et la participation de l’IDRISet de la formation permanente CNRS.

Pour toute question, n'hésitez pas à contacter l'équipe Fidle à l'adresse suivante :

(Version courte...)

Objectifs pédagogique

  • Comprendre les bases de l'apprentissage profond avec des réseaux de neurones,
  • Développer une première expérience à travers des exemples simples et représentatifs,
  • Appréhender les technologies Tensorflow/Keras et/avec Jupyter lab.
  • Appréhender l’utilisation de Jean-Zay, l’utilisation des GPU et favoriser les échanges

Modalités

Chaque séquence comporte une partie théorique et des travaux pratiques, composés de notebooks Jupyter lab, que vous pourrez mettre en œuvre et modifier à loisir localement chez vous.

Pour cela, nous vous invitons à récupérer et installer votre environnement Fidle localement.
Une procédure est disponible dans le Wiki.

Les supports sont en anglais, les présentation en français.

A l’issue de chaque séquence, les vidéos seront disponibles en ligne, sur la chaine Youtube de SARI.

La calendrier sera discuté ensemble, à l'issue de la séquence 1, prévue le jeudi 4 février à 14h00.

Prérequis

Liens utiles

Programme :

L'idée est de proposer un découpage en séquences relativement courtes, de 1h à 3h maximum :

  • Toutes les séquences seront enregistrées et disponibles en ligne. Il sera donc possible de rattraper une séquence.
  • La séquence 1 présentant les concepts fondamentaux, elle est donc un prérequis aux suivantes.
  • Les séquences suivantes sont globalement indépendantes.
  • Le contenu des séquences pourra être adapté en fonction des demandes ou du contexte :-)

Note :
La première séquence est prévue le jeudi 4 février, à 14h00.
Le calendrier des séquences suivantes sera discuté ensemble.

Séquence 1 : Contexte et historique, de la régression linéaire aux réseaux de neurones.

  • Introduction du cycle
  • Historique et concepts fondamentaux des réseaux de neurones
    Fonction de perte - Descente de gradient - Optimisation - Hyperparamètres
    Préparation des données - Apprentissage - Validation - Sous et sur apprentissage
    Fonctions d’activation - softmax
  • Exemples pratiques : Régression et Classification avec des DNN
  • Durée : 3h

Séquence 2 : Réseaux convolutifs, gestion des données et supervision.

  • Principes et concepts des réseaux convolutifs (CNN)
  • Problématiques liées aux données
  • Convolutions - Dropout - Pooling - Monitoring et Tensorboard - Augmentation de données
    Passage à l'échelle (du notebook au batch) - Points de reprise (checkpoint)
  • Exemples pratiques : Classification de chiffres manuscrits et de panneaux routiers
  • Durée : 2x2h

Séquence 3 : Données creuses de dimensions variables : L'exemple des données textuelles

  • Spécificités et gestion des données creuses/textuelles
  • Principes de l'Embedding (Keras, CBOW, Skip-Gram), comment réduire les dimensions.
  • Exemple proposé : Analyse de sentiment avec une analyse de critique de films.
  • Durée : 2h

Séquence 4 : Données séquentielles ou quand les données sont des séquences temporelles

  • Données séquentielles et réseaux récurrents (RNN)
  • RNN - LSTM - GRU - Spécificités des données séquentielles - Data Generator
  • Exemple proposée : Prédiction d'une séquence temporelle avec une prédiction météorologique à 3h et 12h
  • Durée : 2h

Séquence 5 : Autoencodeur (AE) : un exemple d'apprentissage non supervisé

  • Principes et architecture d'un autoencodeur (AE)
  • Espace latent - Convolution classiques et transposées
    Programmation procédurale avec Keras - GPU et batch
  • Exemple proposé : Débruitage d'images fortement bruitées
  • Durée : 2h

Séquence 6 : Variational Autoencoder (VAE) : apprentissage non supervisé, réseau génératif

  • Principes et architecture d’un Variational AutoEncodeur (VAE)
  • Problématique liée aux « gros » datasets
  • Projection gaussienne - Génération de données - Morphing dans l'espace latent
    Datasets clusterisés - GPU et batch
  • Exemple proposé :
  • Durée : 2h

Séquence 7 : Passer à la vitesse supérieure : Jean-Zay et accélération GPU

  • Présentation de Jean-Zay et calcul sur GPU
  • Distribution du calcul - Data Parallelism - Model Parallelism
    Hybrid Parallelism - Pipelines
  • Durée : 2h

Séquence 8 : Démystifier les outils mathématiques pour l'apprentissage des réseaux de neurones.

  • Présentation mathématique de l'optimisation par descente de gradient
  • Principe de la backpropagation
  • Mise en lumière de l'intérêt pratique des méthodes stochastiques
  • Exemple proposé : Programmation à la main de l'apprentissage d'un réseau convolutif
  • Durée : 2h30

Séquence 9 : Un détour par PyTorch.

  • Présentation générale
  • Principes et objets clés pour programmer sous PyTorch
  • Exemples : Classification et regression sous PyTorch
  • Durée : 2h

Séquence 10 : Clôture et bilan

  • Pour aller au delà de ce premier contact...
  • Conclusion et bilan
  • Durée 1h