Dans une récente vidéo YouTube, Martin Splitt de Google a expliqué les différences entre la balise « noindex » dans les balises méta robots et la commande « disallow » dans les fichiers robots.txt.
Splitt, Developer Advocate chez Google, a souligné que les deux méthodes aident à gérer la façon dont les robots des moteurs de recherche fonctionnent avec un site Web.
Cependant, ils ont des objectifs différents et ne doivent pas être utilisés les uns à la place des autres.
Quand utiliser Noindex
La directive « noindex » indique aux moteurs de recherche de ne pas inclure une page spécifique dans leurs résultats de recherche. Vous pouvez ajouter cette instruction dans la section d'en-tête HTML à l'aide de la balise méta robots ou de l'en-tête HTTP X-Robots.
Utilisez « noindex » lorsque vous souhaitez empêcher une page d'apparaître dans les résultats de recherche tout en permettant aux moteurs de recherche de lire le contenu de la page. Ceci est utile pour les pages que les utilisateurs peuvent voir mais que vous ne souhaitez pas que les moteurs de recherche affichent, comme les pages de remerciement ou les pages de résultats de recherche internes.
Quand utiliser l’interdiction
La directive « disallow » dans le fichier robots.txt d'un site Web empêche les robots des moteurs de recherche d'accéder à des URL ou des modèles spécifiques. Lorsqu'une page est interdite, les moteurs de recherche n'exploreront ni n'indexeront son contenu.
Splitt conseille d'utiliser « interdire » lorsque vous souhaitez empêcher complètement les moteurs de recherche de récupérer ou de traiter une page. Cela convient aux informations sensibles, telles que les données privées des utilisateurs, ou aux pages qui ne sont pas pertinentes pour les moteurs de recherche.
En rapport: Apprenez à utiliser le fichier robots.txt
Erreurs courantes à éviter
Une erreur courante que commettent les propriétaires de sites Web est d’utiliser « noindex » et « disallow » pour la même page. Splitt déconseille cela car cela peut causer des problèmes.
Si une page est interdite dans le fichier robots.txt, les moteurs de recherche ne peuvent pas voir la commande « noindex » dans la balise méta de la page ou dans l'en-tête X-Robots. Par conséquent, la page peut toujours être indexée, mais avec des informations limitées.
Pour empêcher une page d'apparaître dans les résultats de recherche, Splitt recommande d'utiliser la commande « noindex » sans interdire la page dans le fichier robots.txt.
Google fournit un rapport robots.txt dans Google Search Console pour tester et surveiller l'impact des fichiers robots.txt sur l'indexation des moteurs de recherche.
En rapport: 8 problèmes courants de Robots.txt et comment les résoudre
Pourquoi c'est important
Comprendre le bon usage des directives « noindex » et « disallow » est essentiel pour les professionnels du référencement.
Suivre les conseils de Google et utiliser les outils de test disponibles vous permettra de garantir que votre contenu apparaît comme prévu dans les résultats de recherche.
Voir la vidéo complète ci-dessous :
Image en vedette : Asier Romero/Shutterstock
