Skip to content
Snippets Groups Projects
Commit 09dd340e authored by Jean-Luc.Parouty@grenoble-inp.fr's avatar Jean-Luc.Parouty@grenoble-inp.fr
Browse files

SYNOP tests

parent 76481f3c
No related branches found
No related tags found
No related merge requests found
Hide whitespace changes
Inline Side-by-side
GTSRB/07-Full-convolutions-reports.ipynb
+ 310
− 208
View file @ 09dd340e
%% Cell type:markdown id: tags:
<img width="800px" src="../fidle/img/00-Fidle-header-01.svg"></img>
# <!-- TITLE --> [GTS7] - Full convolutions Report
<!-- DESC --> Episode 7 : Displaying the reports of the different jobs
<!-- AUTHOR : Jean-Luc Parouty (CNRS/SIMaP) -->
## Objectives :
- Compare the results of different dataset-model combinations
Les rapports (format json) sont générés par les jobs "Full convolution" [GTS5][GTS6]
## What we're going to do :
- Read json files and display results
## 1/ Python import
%% Cell type:code id: tags:
``` python
import pandas as pd
import os,glob,json
from pathlib import Path
from IPython.display import display, Markdown
```
%% Cell type:markdown id: tags:
## 2/ A nice function
%% Cell type:code id: tags:
``` python
def highlight_max(s):
is_max = (s == s.max())
return ['background-color: yellow' if v else '' for v in is_max]
def show_report(file):
# ---- Read json file
with open(file) as infile:
dict_report = json.load( infile )
output = dict_report['output']
description = dict_report['description']
# ---- about
print("\n\n\nReport : ",Path(file).stem)
print( "Desc. : ",description,'\n')
# ---- Create a pandas
report = pd.DataFrame (output)
col_accuracy = [ c for c in output.keys() if c.endswith('Accuracy')]
col_duration = [ c for c in output.keys() if c.endswith('Duration')]
# ---- Build formats
lambda_acc = lambda x : '{:.2f} %'.format(x) if (isinstance(x, float)) else '{:}'.format(x)
lambda_dur = lambda x : '{:.1f} s'.format(x) if (isinstance(x, float)) else '{:}'.format(x)
formats = {'Size':'{:.2f} Mo'}
for c in col_accuracy:
formats[c]=lambda_acc
for c in col_duration:
formats[c]=lambda_dur
t=report.style.highlight_max(subset=col_accuracy).format(formats).hide_index()
display(t)
```
%% Cell type:markdown id: tags:
## 3/ Reports display
%% Cell type:code id: tags:
``` python
for file in glob.glob("./run/*.json"):
show_report(file)
```
%% Output
Report : report_028304
Desc. : train_size=1 test_size=1 batch_size=64 epochs=16 data_aug=False
Report : report_029273
Desc. : train_size=1 test_size=1 batch_size=64 epochs=16 data_aug=False
Report : report_033476
Desc. : train_size=1 test_size=1 batch_size=64 epochs=16 data_aug=False
Report : report_035478
Desc. : train_size=1 test_size=1 batch_size=64 epochs=20 data_aug=True
Report : report_049176
Desc. : train_size=1 test_size=1 batch_size=64 epochs=20 data_aug=True
Report : report_094813
Desc. : train_size=1 test_size=1 batch_size=64 epochs=20 data_aug=True
%% Cell type:markdown id: tags:
---
<img width="80px" src="../fidle/img/00-Fidle-logo-01.svg"></img>
......
SYNOP/01-Deep-weather.ipynb 0 → 100644
+ 344
− 0
View file @ 09dd340e
%% Cell type:markdown id: tags:
<img width="800px" src="../fidle/img/00-Fidle-header-01.svg"></img>
# <!-- TITLE --> [TIMS1] - Time serie with RNN
<!-- DESC --> Time serie prediction with RNN
<!-- AUTHOR : Jean-Luc Parouty (CNRS/SIMaP) -->
## Objectives :
- Objectif
- Objectif_pédagogique
SYNOP meteorological data, available at: https://public.opendatasoft.com
## What we're going to do :
- Ceci
- Cela
## Step 1 - Import and init
### 1.1 - Python
%% Cell type:code id: tags:
``` python
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.callbacks import TensorBoard
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import h5py, json
import os,time,sys
from importlib import reload
sys.path.append('..')
import fidle.pwk as ooo
ooo.init()
```
%% Output
FIDLE 2020 - Practical Work Module
Version : 0.4.3
Run time : Friday 28 February 2020, 22:08:24
TensorFlow version : 2.0.0
Keras version : 2.2.4-tf
%% Cell type:markdown id: tags:
### 1.2 - Where are we ?
%% Cell type:code id: tags:
``` python
place, dataset_dir = ooo.good_place( { 'GRICAD' : f'{os.getenv("SCRATCH_DIR","")}/PROJECTS/pr-fidle/datasets/SYNOP',
'IDRIS' : f'{os.getenv("WORK","")}/datasets/SYNOP',
'HOME' : f'{os.getenv("HOME","")}/datasets/SYNOP'} )
```
%% Output
Well, we should be at GRICAD !
We are going to use: /bettik/PROJECTS/pr-fidle/datasets/SYNOP
%% Cell type:markdown id: tags:
## Step 2 - Read the data
%% Cell type:code id: tags:
``` python
data_filename = 'donnees-synop-essentielles-omm-LYS.csv'
schema_filename = 'schema.json'
```
%% Cell type:markdown id: tags:
### 2.1 - Read columns code
%% Cell type:code id: tags:
``` python
with open(f'{dataset_dir}/{schema_filename}','r') as json_file:
schema = json.load(json_file)
column_codes=list( schema['definitions']['donnees-synop-essentielles-omm_records']['properties']['fields']['properties'].keys() )
```
%% Cell type:markdown id: tags:
### 2.2 - Read data
%% Cell type:code id: tags:
``` python
df = pd.read_csv(f'{dataset_dir}/{data_filename}', header=0, sep=';')
columns_desc = list(df.columns)
code2desc = dict(zip(column_codes, columns_desc))
df.columns = column_codes
ooo.display_md('#### Code - description')
i=0
for code,desc in code2desc.items():
na = df[code].isna().sum()
print(f'{code:24} : {desc:60} : {na}')
# display(data.head(5))
print('Données manquantes : ',data.isna().sum().sum(), ' Shape is : ', data.shape)
```
%% Output
#### Code - description
numer_sta : ID OMM station : 0
date : Date : 0
pmer : Pression au niveau mer : 17
tend : Variation de pression en 3 heures : 2
cod_tend : Type de tendance barométrique : 2
dd : Direction du vent moyen 10 mn : 3
ff : Vitesse du vent moyen 10 mn : 2
t : Température : 14
td : Point de rosée : 17
u : Humidité : 17
vv : Visibilité horizontale : 31
ww : Temps présent : 1
w1 : Temps passé 1 : 542
w2 : Temps passé 2 : 552
n : Nebulosité totale : 801
nbas : Nébulosité des nuages de l' étage inférieur : 2381
hbas : Hauteur de la base des nuages de l'étage inférieur : 8861
cl : Type des nuages de l'étage inférieur : 3377
cm : Type des nuages de l'étage moyen : 6912
ch : Type des nuages de l'étage supérieur : 8494
pres : Pression station : 0
niv_bar : Niveau barométrique : 29165
geop : Géopotentiel : 29165
tend24 : Variation de pression en 24 heures : 14443
tn12 : Température minimale sur 12 heures : 21883
tn24 : Température minimale sur 24 heures : 29165
tx12 : Température maximale sur 12 heures : 21883
tx24 : Température maximale sur 24 heures : 29165
tminsol : Température minimale du sol sur 12 heures : 27364
sw : Méthode de mesure Température du thermomètre mouillé : 29165
tw : Température du thermomètre mouillé : 29165
raf10 : Rafale sur les 10 dernières minutes : 14127
rafper : Rafales sur une période : 9
per : Periode de mesure de la rafale : 8
etat_sol : Etat du sol : 12278
ht_neige : Hauteur totale de la couche de neige, glace, autre au sol : 12083
ssfrai : Hauteur de la neige fraîche : 2914
perssfrai : Periode de mesure de la neige fraiche : 4489
rr1 : Précipitations dans la dernière heure : 95
rr3 : Précipitations dans les 3 dernières heures : 73
rr6 : Précipitations dans les 6 dernières heures : 10869
rr12 : Précipitations dans les 12 dernières heures : 10919
rr24 : Précipitations dans les 24 dernières heures : 12730
phenspe1 : Phénomène spécial 1 : 14818
phenspe2 : Phénomène spécial 2 : 14826
phenspe3 : Phénomène spécial 3 : 15515
phenspe4 : Phénomène spécial 4 : 28869
nnuage1 : Nébulosité couche nuageuse 1 : 4753
ctype1 : Type nuage 1 : 5699
hnuage1 : Hauteur de base 1 : 5439
nnuage2 : Nébulosité couche nuageuse 2 : 16112
ctype2 : Type nuage 2 : 16643
hnuage2 : Hauteur de base 2 : 16317
nnuage3 : Nébulosité couche nuageuse 3 : 25387
ctype3 : Type nuage 3 : 25642
hnuage3 : Hauteur de base 3 : 25431
nnuage4 : Nébulosité couche nuageuse 4 : 28850
ctype4 : Type nuage 4 : 28780
hnuage4 : Hauteur de base 4 : 28850
coordonnees : Coordonnees : 0
nom : Nom : 0
type_de_tendance_barometrique : Type de tendance barométrique.1 : 2
temps_passe_1 : Temps passé 1.1 : 542
temps_present : Temps présent.1 : 1
tc : Température (°C) : 14
tn12c : Température minimale sur 12 heures (°C) : 21883
tn24c : Température minimale sur 24 heures (°C) : 29165
tx12c : Température maximale sur 12 heures (°C) : 21883
tx24c : Température maximale sur 24 heures (°C) : 29165
tminsolc : Température minimale du sol sur 12 heures (en °C) : 27364
altitude : Altitude : 0
longitude : Longitude : 0
latitude : Latitude : 0
libgeo : communes (name) : 0
codegeo : communes (code) : 0
nom_epci : EPCI (name) : 0
code_epci : EPCI (code) : 0
nom_dept : department (name) : 0
code_dep : department (code) : 0
nom_reg : region (name) : 0
code_reg : region (code) : 0
Données manquantes : 805133 Shape is : (29165, 81)
%% Cell type:markdown id: tags:
---
<img width="80px" src="../fidle/img/00-Fidle-logo-01.svg"></img>
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment