mercredi 16 juillet 2014
Explorer ou ne pas explorer, telle est la question.
Il est parfois difficile de créer et de gérer des fichiers robots.txt corrects. Si la plupart des propriétaires de sites ne rencontrent pas de difficultés particulières (car souvent ils n'ont même pas besoin de fichier robots.txt), l'identification des instructions qui bloquent ou bloquaient des URLs individuelles peut s'avérer relativement difficile au sein d'un fichier robots.txt volumineux. Pour faciliter les choses, nous vous annonçons la mise à jour de l' outil de test des fichiers robots.txt dans les outils pour les webmasters.
L'outil de test mis à jour se trouve dans la section "Exploration" des Outils pour les webmasters :
Il vous permet de voir le fichier robots.txt actuel et de tester les nouvelles URLs pour savoir si elles sont exclues de l'exploration. Pour vous aider à y voir plus clair au milieu d'instructions compliquées, l'outil met en évidence l'instruction spécifique qui a entraîné la décision finale. Vous pouvez apporter des modifications au fichier et les tester. Il vous suffit ensuite de transférer la nouvelle version du fichier sur votre serveur pour que les changements prennent effet. Notre site pour les développeurs comporte plus de détails sur les instructions des fichiers robots.txt et leur traitement .
De plus, vous pouvez examiner les anciennes versions de votre fichier robots.txt et déterminer à quel moment des problèmes d'accès ont empêché l'exploration. Par exemple, si Googlebot détecte une erreur de serveur 500 sur le fichier robots.txt, nous suspendons généralement l'exploration du site Web.
Comme des erreurs ou des avertissements relatifs à vos sites existants peuvent être affichés, nous vous recommandons de vérifier les fichiers robots.txt de ces sites. Vous pouvez également associer cette fonctionnalité à d'autres outils pour les webmasters : par exemple, vous pouvez utiliser la nouvelle version de l' outil Explorer comme Google pour afficher les pages importantes de votre site Web. Si nous vous signalons des URLs bloquées, vous pouvez utiliser cet outil de test du fichier robots.txt pour rechercher l'instruction qui les bloque et vous en servir pour remédier au problème. Les anciens fichiers robots.txt provoquent souvent des problèmes, car ils bloquent le contenu CSS, JavaScript ou pour mobile. Une fois les problèmes identifiés, il est souvent facile de les résoudre.
Nous espérons que la nouvelle version de cet outil vous permettra de tester et de gérer plus facilement votre fichier robots.txt. Si vous avez des questions ou si vous avez besoin d'aide pour créer des instructions adéquates, n'hésitez pas à consulter notre Forum d'aide pour les webmasters .
Ecrit par Asaph Arnon, Equipe des Outils Google pour les Webmasters
Il est parfois difficile de créer et de gérer des fichiers robots.txt corrects. Si la plupart des propriétaires de sites ne rencontrent pas de difficultés particulières (car souvent ils n'ont même pas besoin de fichier robots.txt), l'identification des instructions qui bloquent ou bloquaient des URLs individuelles peut s'avérer relativement difficile au sein d'un fichier robots.txt volumineux. Pour faciliter les choses, nous vous annonçons la mise à jour de l' outil de test des fichiers robots.txt dans les outils pour les webmasters.
L'outil de test mis à jour se trouve dans la section "Exploration" des Outils pour les webmasters :
Il vous permet de voir le fichier robots.txt actuel et de tester les nouvelles URLs pour savoir si elles sont exclues de l'exploration. Pour vous aider à y voir plus clair au milieu d'instructions compliquées, l'outil met en évidence l'instruction spécifique qui a entraîné la décision finale. Vous pouvez apporter des modifications au fichier et les tester. Il vous suffit ensuite de transférer la nouvelle version du fichier sur votre serveur pour que les changements prennent effet. Notre site pour les développeurs comporte plus de détails sur les instructions des fichiers robots.txt et leur traitement .
De plus, vous pouvez examiner les anciennes versions de votre fichier robots.txt et déterminer à quel moment des problèmes d'accès ont empêché l'exploration. Par exemple, si Googlebot détecte une erreur de serveur 500 sur le fichier robots.txt, nous suspendons généralement l'exploration du site Web.
Comme des erreurs ou des avertissements relatifs à vos sites existants peuvent être affichés, nous vous recommandons de vérifier les fichiers robots.txt de ces sites. Vous pouvez également associer cette fonctionnalité à d'autres outils pour les webmasters : par exemple, vous pouvez utiliser la nouvelle version de l' outil Explorer comme Google pour afficher les pages importantes de votre site Web. Si nous vous signalons des URLs bloquées, vous pouvez utiliser cet outil de test du fichier robots.txt pour rechercher l'instruction qui les bloque et vous en servir pour remédier au problème. Les anciens fichiers robots.txt provoquent souvent des problèmes, car ils bloquent le contenu CSS, JavaScript ou pour mobile. Une fois les problèmes identifiés, il est souvent facile de les résoudre.
Nous espérons que la nouvelle version de cet outil vous permettra de tester et de gérer plus facilement votre fichier robots.txt. Si vous avez des questions ou si vous avez besoin d'aide pour créer des instructions adéquates, n'hésitez pas à consulter notre Forum d'aide pour les webmasters .
Ecrit par Asaph Arnon, Equipe des Outils Google pour les Webmasters