Gary Illyes et Lizzi Sassman, de Google, ont évoqué trois facteurs qui incitent Googlebot à explorer davantage le site. Bien qu'ils aient minimisé la nécessité d'une exploration constante, ils ont reconnu qu'il existe des moyens d'encourager Googlebot à revisiter un site Web.
- Google confirme 3 façons d'inciter Googlebot à explorer plus.
- Impact du contenu de haute qualité sur l'exploration.
- Augmentation de l'activité de publication pour inciter Googlebot.
- Cohérence de la qualité du contenu pour maintenir l'exploration.
1. Impact du contenu de haute qualité sur la fréquence d'exploration
L'un des sujets abordés était la qualité d'un site Web. De nombreuses personnes souffrent du problème de non-indexation découvert et cela est parfois causé par certaines pratiques SEO que les gens ont apprises et considèrent comme étant de bonnes pratiques. Je fais du référencement depuis 25 ans et une chose est toujours restée la même : les meilleures pratiques définies par l'industrie ont généralement des années de retard sur ce que fait Google. Pourtant, il est difficile de voir ce qui ne va pas si une personne est convaincue qu'elle fait tout correctement.
Gary Illyes a partagé une raison pour une fréquence d'exploration élevée à la minute 4:42, expliquant que l'un des déclencheurs d'un niveau élevé d'exploration est les signaux de haute qualité que les algorithmes de Google détectent.
Gary l'a dit à la 4:42 minute :
« … en général, si le contenu d’un site est de haute qualité, utile et apprécié par les internautes, alors Googlebot – enfin, Google – a tendance à explorer davantage de contenu à partir de ce site… »
Il y a beaucoup de nuances dans la déclaration ci-dessus qui manquent, comme Quels sont les signes de haute qualité et d'utilité Cela incitera Google à décider d’explorer plus fréquemment ?
Google ne le dit jamais. Mais nous pouvons spéculer et voici quelques-unes de mes suppositions éclairées.
Nous savons qu’il existe des brevets sur la recherche de marque qui comptabilisent les recherches de marque effectuées par les utilisateurs comme des liens implicites. Certaines personnes pensent que les « liens implicites » sont des mentions de marque, mais les « mentions de marque » ne sont absolument pas ce dont parle le brevet.
Ensuite, il y a le brevet Navboost qui existe depuis 2004. Certaines personnes associent le brevet Navboost aux clics, mais si vous lisez le brevet de 2004, vous verrez qu'il ne mentionne jamais les taux de clics (CTR). Il parle des signaux d'interaction des utilisateurs. Les clics ont fait l'objet de recherches intenses au début des années 2000, mais si vous lisez les articles de recherche et les brevets, il est facile de comprendre ce que je veux dire lorsque ce n'est pas aussi simple que « le singe clique sur le site Web dans les SERP, Google le classe plus haut, le singe obtient une banane ».
En général, je pense que les signaux qui indiquent que les gens perçoivent un site comme utile peuvent aider un site Web à mieux se classer. Et parfois, cela peut consister à donner aux gens ce qu'ils s'attendent à voir, à donner aux gens ce qu'ils s'attendent à voir.
Les propriétaires de sites me disent que Google classe les sites de façon médiocre et quand je regarde, je comprends ce qu'ils veulent dire, les sites sont plutôt médiocres. Mais d'un autre côté, le contenu donne aux gens ce qu'ils veulent parce qu'ils ne savent pas vraiment faire la différence entre ce qu'ils s'attendent à voir et un contenu de bonne qualité (j'appelle cela l'algorithme Froot Loops).
Qu'est-ce que l'algorithme Froot Loops ? Il s'agit d'un effet de la dépendance de Google aux signaux de satisfaction des utilisateurs pour juger si leurs résultats de recherche rendent les utilisateurs heureux. Voici ce que j'ai déjà publié sur l'algorithme Froot Loops de Google :
« Vous êtes-vous déjà promené dans un rayon de céréales d'un supermarché et avez-vous remarqué combien de céréales riches en sucre garnissent les étagères ? C'est la satisfaction des utilisateurs en action. Les gens s'attendent à voir des céréales sucrées dans leur rayon de céréales et les supermarchés répondent à cette intention des utilisateurs.
Je regarde souvent les Froot Loops dans le rayon des céréales et je me demande : « Qui mange ce truc ? » Apparemment, beaucoup de gens le font, c'est pourquoi la boîte est sur les étagères des supermarchés – parce que les gens s'attendent à la voir là.
Google fait la même chose que le supermarché. Google montre les résultats les plus susceptibles de satisfaire les utilisateurs, comme ce rayon de céréales.
Un exemple de site de pacotille qui satisfait les utilisateurs est un site de recettes populaire (que je ne nommerai pas) qui publie des recettes faciles à cuisiner qui ne sont pas authentiques et qui utilise des raccourcis comme la crème de champignons en conserve comme ingrédient. J'ai une certaine expérience en cuisine et ces recettes me font grincer des dents. Mais les gens que je connais aiment ce site parce qu'ils ne savent pas faire mieux, ils veulent juste une recette facile.
En réalité, la question de l'utilité consiste à comprendre le public en ligne et à lui donner ce qu'il veut, ce qui est différent de lui donner ce qu'il devrait vouloir. Selon moi, comprendre ce que les gens veulent et le leur donner est ce qui sera utile aux internautes et qui déclenchera le signal d'aide de Google.
2. Augmentation de l’activité de publication
Selon Illyes et Sassman, une fréquence de publication plus élevée pourrait également inciter Googlebot à explorer davantage le site, par exemple si un site augmentait soudainement le nombre de pages qu'il publie. Mais Illyes a déclaré que dans le cas d'un site piraté qui se mettait soudainement à publier davantage de pages Web, un site piraté qui publie beaucoup de pages inciterait Googlebot à explorer davantage le site.
Si nous examinons cette déclaration du point de vue de la forêt, il est assez évident qu'il sous-entend qu'une augmentation de l'activité de publication peut déclencher une augmentation de l'activité d'exploration. Ce n'est pas le fait que le site a été piraté qui incite Googlebot à explorer davantage, c'est l'augmentation de la publication qui en est la cause.
C'est ici que Gary cite une explosion d'activité de publication comme déclencheur de Googlebot :
« … mais cela peut aussi vouloir dire que, je ne sais pas, le site a été piraté. Et puis il y a un tas de nouvelles URL qui enthousiasment Googlebot, puis il sort et il rampe comme un fou. »
Le fait que de nombreuses nouvelles pages enthousiasment Googlebot et l'incitent à explorer un site « comme un fou » est la conclusion à retenir. Pas besoin d'en dire plus, passons à autre chose.
3. Cohérence de la qualité du contenu
Gary Illyes poursuit en mentionnant que Google pourrait reconsidérer la qualité globale du site et que cela pourrait entraîner une baisse de la fréquence d'exploration.
Voici ce que Gary a dit :
« … si nous n’explorons pas beaucoup ou si nous ralentissons progressivement l’exploration, cela peut être le signe d’un contenu de mauvaise qualité ou que nous avons repensé la qualité du site. »
Que veut dire Gary quand il dit que Google a « repensé la qualité du site » ? Je pense que parfois, la qualité globale d'un site peut baisser si certaines parties du site ne sont pas au même niveau que la qualité du site d'origine. À mon avis, d'après ce que j'ai vu au fil des ans, à un moment donné, le contenu de mauvaise qualité peut commencer à prendre le pas sur le bon contenu et entraîner le reste du site dans sa chute.
Lorsque les gens viennent me voir en me disant qu'ils ont un problème de « cannibalisme de contenu », lorsque j'y regarde de plus près, je me rends compte qu'en réalité, ils souffrent d'un problème de contenu de mauvaise qualité dans une autre partie du site.
Lizzi Sassman continue à demander vers la 6e minute si le contenu du site Web est statique, sans amélioration ni dégradation, mais simplement sans changement, il y a un impact. Gary a résisté à donner une réponse, se contentant de dire que Googlebot revient vérifier le site pour voir s'il a changé et dit que Googlebot pourrait « probablement » ralentir l'exploration s'il n'y a pas de changement, mais a nuancé cette déclaration en disant qu'il ne le savait pas.
Un élément non mentionné mais lié à la cohérence de la qualité du contenu est que parfois le sujet change et si le contenu est statique, il peut automatiquement perdre de la pertinence et commencer à perdre des classements. C'est donc une bonne idée de faire un audit de contenu régulier pour voir si le sujet a changé et, si c'est le cas, de mettre à jour le contenu afin qu'il continue d'être pertinent pour les utilisateurs, les lecteurs et les consommateurs lorsqu'ils ont des conversations sur un sujet.
Trois façons d'améliorer les relations avec Googlebot
Comme Gary et Lizzi l'ont clairement indiqué, il ne s'agit pas vraiment de taquiner Googlebot pour le faire venir juste pour le faire ramper. L'essentiel est de réfléchir à votre contenu et à sa relation avec les utilisateurs.
1. Le contenu est-il de haute qualité ?
Le contenu aborde-t-il un sujet ou un mot-clé ? Les sites qui utilisent une stratégie de contenu basée sur des mots-clés sont ceux qui, selon moi, souffriront des mises à jour de l'algorithme de base de 2024. Les stratégies basées sur des sujets ont tendance à produire un meilleur contenu et ont traversé les mises à jour de l'algorithme sans problème.2. Augmentation de l’activité de publication
Une augmentation de l'activité de publication peut inciter Googlebot à intervenir plus souvent. Que ce soit parce qu'un site a été piraté ou parce qu'un site met plus d'énergie dans sa stratégie de publication de contenu, un calendrier de publication de contenu régulier est une bonne chose et a toujours été une bonne chose. Il n'y a pas de « configurer et oublier » en matière de publication de contenu.3. Cohérence de la qualité du contenu
La qualité du contenu, son actualité et sa pertinence pour les utilisateurs au fil du temps sont des éléments importants à prendre en compte et garantissent que Googlebot continuera à venir vous saluer. Une baisse de l'un de ces facteurs (qualité, actualité et pertinence) pourrait affecter l'exploration de Googlebot, ce qui est en soi un symptôme d'un facteur plus important, à savoir la façon dont l'algorithme de Google lui-même considère le contenu.Écoutez le podcast Google Search Off The Record à partir de la 4e minute environ :
Image en vedette par Shutterstock/Cast Of Thousands
FAQ
Comment utiliser Googlebot ?
Pour utiliser Googlebot, tout d'abord vous devez vous assurer que votre site est bien indexé par le moteur de recherche Google. Ensuite, il suffit de fournir un contenu de qualité et régulièrement mis à jour pour inciter Googlebot à explorer votre site plus souvent.
Vous pouvez également améliorer l’accès aux pages de votre site en créant un plan de site XML et en utilisant les outils pour webmasters mis à disposition par Google. Enfin, n'hésitez pas à consulter la documentation officielle de Google afin d'en savoir plus sur les bonnes pratiques pour optimiser le crawl de votre site par Googlebot.
Comment émuler Googlebot ?
Pour émuler Googlebot, il est possible d'utiliser l'outil "Google Search Console" qui permet de tester et de visualiser le rendu de son site web pour ce robot d'indexation. Il est également possible d'utiliser des extensions ou plugins dédiés à la simulation de Googlebot pour les sites WordPress par exemple.
Une autre méthode consiste à modifier le User-Agent du navigateur en utilisant une extension ou en paramétrant directement dans le code afin qu'il soit identique à celui du bot de Google. Enfin, il faut veiller à utiliser un serveur avec une configuration technique similaire à celle de Googlebot afin que les résultats soient les plus fidèles possibles.
Comment héberger un bot ?
Pour héberger un bot, il est nécessaire de choisir une plateforme d'hébergement qui propose des serveurs dédiés ou virtuels. Ensuite, il faut installer les logiciels et programmes nécessaires au bon fonctionnement du bot, en veillant à leur compatibilité avec la plateforme choisie.
Il est également important de configurer correctement le système d'exploitation du serveur pour assurer une bonne gestion des ressources. Enfin, il conviendra de tester et surveiller régulièrement le bot pour s'assurer qu'il fonctionne correctement et apporter des modifications si nécessaire.
Qu'est-ce que le googlebot ?
Le Googlebot est un robot d'indexation utilisé par Google pour parcourir le web et répertorier les pages de sites internet. Il s'agit d'un logiciel qui fonctionne à l'aide d'algorithmes complexes afin de crawler les pages web, c'est-à-dire en recueillant des informations et des liens afin de les indexer dans la base de données de Google. Grâce au Googlebot, les moteurs de recherche peuvent fournir des résultats pertinents en réponse aux requêtes des internautes.
Le robot explore les pages en suivant différents liens et peut analyser le contenu ainsi que la structure du site pour déterminer sa pertinence par rapport à une requête donnée. Le Googlebot possède également une version mobile, appelée "Google Mobile Bot", qui a pour mission de crawler spécifiquement les sites adaptés aux appareils mobiles. Ce dernier est notamment essentiel pour le référencement des sites sur les smartphones et tablettes.
Le googlebot est-il un exemple de quoi ?
Le Googlebot est un exemple de robot d'indexation, c'est-à-dire un programme informatique qui explore les pages web pour les enregistrer et les indexer dans la base de données du moteur de recherche. Ce robot peut parcourir des millions de pages chaque jour afin de maintenir à jour l'index du moteur de recherche.
Il s'appuie sur des algorithmes complexes pour déterminer la pertinence des sites et leur positionnement dans les résultats de recherche. Le Googlebot est donc un outil essentiel pour le fonctionnement efficace du moteur de recherche Google.
