La meilleure approche pour optimiser le budget du crawl est de commencer par améliorer la vitesse globale du site et de simplifier la structure du site pour aider à la fois les utilisateurs et le Googlebot.
Le budget d’exploration est un concept clé pour les professionnels du référencement car une mauvaise gestion de ce budget peut conduire à ce que Google n’indexe pas les pages de votre site et, au final, à ce que vous perdiez un précieux trafic de recherche sur votre site.
Bien que la plupart des sites n’aient pas à se soucier du budget d’exploration, si vous gérez un site web de plus de 500 000 pages, vous devez vous concentrer sur l’optimisation du budget d’exploration de votre site.
Voici quelques éléments qui peuvent avoir une incidence sur le budget d’exploration de votre site :
- Duplication du contenu sur le site
- Pages d’erreurs mineures
- Contenu de mauvaise qualité et spam
- Navigations à facettes et paramètres URL
- Et des pages piratées
La meilleure approche pour optimiser le budget de l’exploration est de commencer par améliorer la vitesse globale du site et par simplifier sa structure, car ces deux éléments aideront à la fois les utilisateurs et le Googlebot. Ensuite, il faut travailler sur les liens internes, régler les problèmes de contenu en double et supprimer les chaînes de redirection.
Améliorer la vitesse du site
Google affirme que « rendre un site plus rapide améliore l’expérience des utilisateurs tout en augmentant le taux d’exploration ». Activez donc la compression, supprimez les JS qui bloquent le rendu, tirez parti de la mise en cache du navigateur et optimisez les images pour donner à Googlebot le temps de visiter et d’indexer toutes vos pages.
Simplifier l’architecture des sites web
Structurez le site web couche par couche, en commençant par la page d’accueil, puis les catégories/balises, et enfin les pages de contenu. Revoyez la structure de votre site, organisez les pages autour de thèmes et utilisez des liens internes pour guider les robots d’exploration.
Évitez les pages orphelines
Comme les pages orphelines n’ont pas de liens externes ou internes, ni de connexion directe avec le web, Google a beaucoup de mal à trouver ces pages.
Limitez les contenus en double
Tout le monde, y compris Google, ne veut que du contenu de qualité et unique. Il faut donc mettre en œuvre correctement les balises canoniques, ne pas indexer les pages de catégories/balises et limiter les URL avec des paramètres.
Supprimez les chaînes de redirection
Les redirections, en particulier dans les sites massifs, sont très courantes. Mais les redirections ayant plus de trois sauts peuvent créer des problèmes pour Googlebot. Utilisez un analyseur de logs pour trouver les redirections et les corriger en faisant pointer la première URL sur la dernière de la chaîne.
Utilisez des liens internes
Google donne la priorité aux pages comportant de nombreux liens externes et internes, mais il n’est pas possible d’obtenir des liens de retour vers chaque page du site. Avec des liens internes appropriés, Googlebot peut atteindre toutes les pages du site.
Si vous avez affaire à un site de grande envergure (une grande marque de commerce électronique, par exemple), il est important de garder à l’esprit le budget de crawl.
