Merge branch 'main' of...

Merge branch 'main' of https://gricad-gitlab.univ-grenoble-alpes.fr/mlarrieu/open-research-data-monitor-back

.gitlab-ci.yml

@@ -29,12 +29,9 @@ actualisation_dois:
     - git commit -m "Execution du pipeline. Actualisation des dois et des graphes."
     - git push origin HEAD:${CI_COMMIT_REF_NAME}
 
-    # création d'un espace accueillant le clone du repo du site web
-    - cd ..
-    - mkdir cloned_repo 2>&1
-    - cd cloned_repo
-    - git clone ${LINK_TO_CLONE} 2>&1
-    - git pull
+    # création d'un espace accueillant le clone du repo du site web, et tests au cas où l'espace existe déjà
+    - if ! [ -d "../cloned_repo" ]; then mkdir ../cloned_repo; fi
+    - if [ -d "../cloned_repo/${PATH_TO_PUSH}" ]; then cd ../cloned_repo/${PATH_TO_PUSH}; git pull; else cd ../cloned_repo; git clone ${LINK_TO_CLONE}; fi
     - cd -
     # copier le fichier "nb-dois.txt" pour commit dans le repo du site web
     - cp open-research-data-monitor-back/1-enrich-with-datacite/nb-dois.txt cloned_repo/${PATH_TO_PUSH}

0-collect-data/rdg.py

@@ -21,10 +21,10 @@ urls = [
     'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=authorAffiliation%3AUGA',
     'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=producerAffiliation%3AUGA',
     'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=contributorAffiliation%3AUGA',
-    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=datasetContactAffiliation%3AGrenoble',
-    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=authorAffiliation%3AGrenoble',
-    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=producerAffiliation%3AGrenoble',
-    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=contributorAffiliation%3AGrenoble'
+    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=datasetContactAffiliation%3A(Grenoble AND Alpes)',
+    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=authorAffiliation%3AGrenoble(Grenoble AND Alpes)',
+    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=producerAffiliation%3AGrenoble(Grenoble AND Alpes)',
+    'https://entrepot.recherche.data.gouv.fr/api/search?q=*&fq=contributorAffiliation%3AGrenoble(Grenoble AND Alpes)'
     # possiblilité d'ajouter d'autres requêtes
 ]
 

1-enrich-with-datacite/concatenate-enrich-dois.py

@@ -59,9 +59,9 @@ if temp_rows :
 
 	## remove not wanted datacite type
 	type_to_explude = ["Book", "ConferencePaper", "ConferenceProceeding", "JournalArticle", "BookChapter", "Service", "Preprint"]
-    df_out = df_concat[ ~df_concat["resourceTypeGeneral"].isin(type_to_explude) ].copy()
-    
-    ## output main CSV
+	df_out = df_concat[ ~df_concat["resourceTypeGeneral"].isin(type_to_explude) ].copy()
+	
+	## output main CSV
 	df_out.to_csv("../dois-uga.csv", index = False)
 	print(f"\n\nnb of doi exported \t{len(df_out)}")