optimisation du dédoublonage

0-collect-data/rdg.py

@@ -75,14 +75,12 @@ for url in urls:
 
 # on supprime les doublons
 
-for i in dois:
-    while(dois.count(i) > 1):
-        dois.remove(i)
+unique_dois = list(set(dois))
 
-print("Nombre de dois différents trouvés : " + str(len(dois)))
+print("Nombre de dois différents trouvés : " + str(len(unique_dois)))
 
 # exporter la liste de DOI au format txt
 
 with open("rdg-dois.txt", 'w') as f :
-    [f.write(f"{line[4:]}\n") for line in dois] # [4:] pour retirer "doi:" au début de chaque ligne
+    [f.write(f"{line[4:]}\n") for line in unique_dois] # [4:] pour retirer "doi:" au début de chaque ligne