Quels robots.txt pour la protection/indexation des services données ?
De manière à limiter les requetes inutiles, le serveur frontal devrait fournir des fichiers robots.txt types en fonction de l'indexation attendue. Par ex. obsportal a-t'il vocation à être harvesté ? OiDB ???
Certains services ayant un robots.txt un peu radical (deny all) pourraient peut-etre avoir un accès vers une page permettant un referencement minimal ( voir adapté pour être relayé sur les moteurs de recherche ).
Edited by Guillaume Mella