Google a lancé une refonte majeure de sa documentation Crawler, réduisant la page d'aperçu principale et divisant le contenu en trois nouvelles pages plus ciblées. Bien que le journal des modifications minimise les changements, il existe une toute nouvelle section et une réécriture de l'intégralité de la page d'aperçu du crawler. Les pages supplémentaires permettent à Google d'augmenter la densité d'informations de toutes les pages du crawler et d'améliorer la couverture thématique.
- Google réorganise sa documentation sur le robot d'exploration.
- La refonte divise le contenu en trois nouvelles pages.
- Des ajouts et des modifications sont apportés pour améliorer l'information.
- Objectif : rendre la documentation plus claire et complète.
Qu'est-ce qui a changé ?
Le journal des modifications de la documentation de Google note deux changements, mais il y en a en réalité beaucoup plus.
Voici quelques-uns des changements :
- Ajout d'une chaîne d'agent utilisateur mise à jour pour le robot d'exploration GoogleProducer
- Informations sur le codage du contenu ajoutées
- Ajout d'une nouvelle section sur les propriétés techniques
La section des propriétés techniques contient des informations entièrement nouvelles qui n'existaient pas auparavant. Le comportement du robot d'exploration ne change pas, mais en créant trois pages thématiques spécifiques, Google est en mesure d'ajouter plus d'informations à la page de présentation du robot d'exploration tout en la réduisant.
Voici les nouvelles informations sur l'encodage du contenu (compression) :
« Les robots d'exploration et les récupérateurs de Google prennent en charge les encodages de contenu (compressions) suivants : gzip, deflate et Brotli (br). Les encodages de contenu pris en charge par chaque agent utilisateur de Google sont annoncés dans l'en-tête Accept-Encoding de chaque requête qu'ils effectuent. Par exemple, Accept-Encoding : gzip, deflate, br. »
Vous trouverez ici des informations supplémentaires sur l'exploration via HTTP/1.1 et HTTP/2, ainsi qu'une déclaration indiquant que leur objectif est d'explorer autant de pages que possible sans impacter le serveur du site Web.
Quel est l’objectif de la refonte ?
La modification de la documentation est due au fait que la page d'aperçu est devenue plus grande. Des informations supplémentaires sur le crawler rendraient la page d'aperçu encore plus grande. Il a été décidé de diviser la page en trois sous-rubriques afin que le contenu spécifique du crawler puisse continuer à s'étoffer et de faire de la place pour des informations plus générales sur la page d'aperçu. Le fait de diviser les sous-rubriques en pages distinctes est une solution brillante au problème de la meilleure façon de servir les utilisateurs.
Voici comment le journal des modifications de la documentation explique le changement :
« La documentation est devenue très longue, ce qui a limité notre capacité à étendre le contenu de nos robots d'exploration et de nos récupérateurs déclenchés par les utilisateurs.
… Nous avons réorganisé la documentation des robots d'exploration et des récupérateurs déclenchés par l'utilisateur de Google. Nous avons également ajouté des notes explicites sur le produit concerné par chaque robot d'exploration et ajouté un extrait de fichier robots.txt pour chaque robot d'exploration afin de montrer comment utiliser les jetons d'agent utilisateur. Sinon, aucun changement significatif n'a été apporté au contenu.
Le journal des modifications minimise les changements en les décrivant comme une réorganisation car la vue d'ensemble du robot d'exploration est considérablement réécrite, en plus de la création de trois nouvelles pages.
Bien que le contenu reste sensiblement le même, la division en sous-thèmes permet à Google d'ajouter plus facilement du contenu aux nouvelles pages sans continuer à développer la page d'origine. La page d'origine, appelée Présentation des robots d'exploration et des récupérateurs Google (agents utilisateurs), est désormais une véritable présentation avec un contenu plus détaillé déplacé vers des pages autonomes.
Google a publié trois nouvelles pages :
- Les rampants communs
- Robots d'exploration pour cas spéciaux
- Récupérateurs déclenchés par l'utilisateur
1. Les rampants communs
Comme indiqué dans le titre, il s'agit de robots d'exploration courants, dont certains sont associés à GoogleBot, notamment Google-InspectionTool, qui utilise l'agent utilisateur GoogleBot. Tous les robots répertoriés sur cette page obéissent aux règles du fichier robots.txt.
Voici les robots d'exploration Google documentés :
- Googlebot
- Image de Googlebot
- Vidéo de Googlebot
- Actualités de Googlebot
- Google StoreBot
- Outil d'inspection Google
- GoogleAutre
- GoogleAutre-Image
- GoogleAutre-Vidéo
- Google CloudVertexBot
- Google étendu
3. Crawlers pour cas spéciaux
Il s'agit de robots d'exploration associés à des produits spécifiques et explorés en accord avec les utilisateurs de ces produits et fonctionnant à partir d'adresses IP distinctes des adresses IP des robots d'exploration GoogleBot.
Liste des robots d'exploration pour cas spéciaux :
- AdSense
Agent utilisateur pour Robots.txt : Mediapartners-Google - AdsBot
Agent utilisateur pour Robots.txt : AdsBot-Google - AdsBot Mobile Web
Agent utilisateur pour Robots.txt : AdsBot-Google-Mobile - API-Google
Agent utilisateur pour Robots.txt : API – Google - Sécurité Google
Agent utilisateur pour Robots.txt : Google-Safety
3. Extracteurs déclenchés par l'utilisateur
La page des récupérateurs déclenchés par l'utilisateur couvre les robots qui sont activés par la demande de l'utilisateur, expliqués comme ceci :
« Les récupérateurs déclenchés par l'utilisateur sont lancés par les utilisateurs pour exécuter une fonction de récupération dans un produit Google. Par exemple, Google Site Verifier agit sur la demande d'un utilisateur, ou un site hébergé sur Google Cloud (GCP) dispose d'une fonctionnalité qui permet aux utilisateurs du site de récupérer un flux RSS externe. Étant donné que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent généralement les règles robots.txt. Les propriétés techniques générales des robots d'exploration de Google s'appliquent également aux récupérateurs déclenchés par l'utilisateur. »
La documentation couvre les robots suivants :
- Récupérateur de flux
- Centre des éditeurs Google
- Google Lire à haute voix
- Vérificateur de site Google
Emporter:
La page de présentation des robots d'exploration de Google est devenue trop complète et peut-être moins utile, car les utilisateurs n'ont pas toujours besoin d'une page complète, ils sont simplement intéressés par des informations spécifiques. La page de présentation est moins spécifique, mais aussi plus facile à comprendre. Elle sert désormais de point d'entrée où les utilisateurs peuvent accéder à des sous-sujets plus spécifiques liés aux trois types de robots d'exploration.
Cette modification permet de savoir comment rafraîchir une page qui pourrait être sous-performante parce qu'elle est devenue trop complète. La division d'une page complète en pages autonomes permet aux sous-thèmes de répondre aux besoins spécifiques des utilisateurs et éventuellement de les rendre plus utiles s'ils se classent dans les résultats de recherche.
Je ne dirais pas que le changement reflète quoi que ce soit dans l'algorithme de Google, il reflète seulement la façon dont Google a mis à jour sa documentation pour la rendre plus utile et la configurer pour ajouter encore plus d'informations.
Lire la nouvelle documentation de Google
Présentation des robots d'exploration et des récupérateurs de Google (agents utilisateurs)
Liste des robots d'exploration courants de Google
Liste des robots d'exploration spécifiques à Google
Liste des récupérateurs déclenchés par les utilisateurs de Google
Image en vedette par Shutterstock/Cast Of Thousands
FAQ
Qu'est-ce que Robotyne sur Google Maps ?
Robotyne est une plateforme de commerce en ligne qui met en relation les commerçants avec des robots livreurs. Elle se distingue sur Google Maps par la présence de ses points de livraison, représentés par des icônes spécifiques sur la carte.
Ces points incluent des restaurants, des magasins ou encore des stations pour recharger les batteries des robots. En cliquant sur ces icônes, on peut avoir plus d'informations sur le type de commerce et ses horaires d'ouverture. Ainsi, Robotyne facilite la recherche et la livraison de repas ou d'autres produits dans certains quartiers grâce à son réseau de robots livreurs.
Dans quelle ville d'Ukraine peut-on trouver Robotyne sur Google Maps ?
On peut trouver Robotyne sur Google Maps dans la ville de Kiev, en Ukraine. C'est la capitale du pays et elle est située au nord-ouest de l'Ukraine, près de la frontière avec la Russie.
Kiev est une grande ville moderne avec une riche histoire et des attractions touristiques telles que la Cathédrale Sainte-Sophie et le Monastère des Grottes. La présence de Robotyne sur Google Maps montre son importance et sa reconnaissance dans cette ville dynamique et innovante.
Y a-t-il un robot actuellement sur Mars ?
Oui, il y a actuellement un robot sur Mars. Il s'agit du rover Perseverance de la NASA, qui a atterri le 18 février 2021 sur la planète rouge. Ce rover est équipé d'instruments scientifiques pour mener des recherches et des expériences afin de mieux comprendre l'environnement martien et chercher d'éventuelles traces de vie passée.
Il est également accompagné d'un petit hélicoptère nommé Ingenuity qui doit réaliser des vols test dans l'atmosphère de Mars.
Est-ce qu'il existe un robot conçu pour se rendre sur Mars ?
Oui, il existe un robot conçu spécialement pour explorer et se déplacer sur la planète Mars, il s'agit du rover Curiosity. Il a été lancé en 2011 par la NASA et est toujours en activité.
Ce robot possède plusieurs équipements scientifiques pour étudier le sol martien et effectuer des prélèvements. Son objectif est de trouver des traces d'eau et de potentielles formes de vie sur Mars.
Quel est le nom du premier robot à avoir été envoyé sur Mars ?
Le premier robot à avoir été envoyé sur Mars s'appelle Sojourner. Il a été lancé en 1996 par la NASA dans le cadre de sa mission d'exploration de la planète rouge. Sojourner a fonctionné pendant environ trois mois et a parcouru une distance de 100 mètres sur le sol martien.
Ce petit rover était équipé d'instruments scientifiques pour étudier les roches et le sol martiens ainsi que pour prendre des photos.
