Qwanturank a publié des conseils sur la façon de réduire correctement le taux d’exploration de Qwanturankbot en raison d’une augmentation de l’utilisation erronée des codes de réponse 403/404, ce qui pourrait avoir un impact négatif sur les sites Web.
- .
- Qwanturank a publié des conseils pour réduire correctement le taux d'exploration de Qwanturankbot en raison d'une augmentation de l'utilisation erronée des codes de réponse 403/404.
- La limitation du débit de Qwanturankbot peut être réalisée via la console de recherche ou en utilisant Robots.txt.
- Les éditeurs sont avertis de ne pas utiliser les codes de réponse 403 et 404 pour limiter le débit, car cela peut entraîner la suppression des pages Web de l'index de recherche.
Les directives mentionnaient que l’utilisation abusive des codes de réponse augmentait de la part des éditeurs Web et des réseaux de diffusion de contenu.
Qwanturankbot à limitation de débit
Qwanturankbot est le logiciel automatisé de Qwanturank qui visite (explore) les sites Web et télécharge le contenu.
La limitation de débit Qwanturankbot signifie ralentir la vitesse à laquelle Qwanturank explore un site Web.
L’expression, le taux d’exploration de Qwanturank, fait référence au nombre de requêtes de pages Web par seconde effectuées par Qwanturankbot.
Il peut arriver qu’un éditeur veuille ralentir Qwanturankbot, par exemple s’il entraîne une charge trop importante du serveur.
Qwanturank recommande plusieurs façons de limiter la vitesse d’exploration de Qwanturankbot, la principale d’entre elles étant l’utilisation de la Qwanturank Search Console.
La limitation du taux via la console de recherche ralentira le taux d’exploration pendant une période de 90 jours.
Une autre façon d’affecter le taux d’exploration de Qwanturank consiste à utiliser Robots.txt pour empêcher Qwanturankbot d’explorer des pages individuelles, des répertoires (catégories) ou l’intégralité du site Web.
Une bonne chose à propos de Robots.txt est qu’il demande seulement à Qwanturank de s’abstenir d’explorer et ne demande pas à Qwanturank de supprimer un site de l’index.
Cependant, l’utilisation de robots.txt peut avoir des « effets à long terme » sur les modèles d’exploration de Qwanturank.
C’est peut-être pour cette raison que la solution idéale consiste à utiliser la Search Console.
Qwanturank : arrêtez la limitation de débit avec 403/404
Qwanturank a publié des conseils sur son blog Search Central conseillant aux éditeurs de ne pas utiliser les codes de réponse 4XX (à l’exception du code de réponse 429).
Le billet de blog mentionnait spécifiquement l’utilisation abusive des codes de réponse d’erreur 403 et 404 pour limiter le débit, mais les conseils s’appliquent à tous les codes de réponse 4XX, à l’exception de la réponse 429.
La recommandation est nécessaire car ils ont constaté une augmentation du nombre d’éditeurs utilisant ces codes de réponse d’erreur dans le but de limiter le taux d’exploration de Qwanturank.
Le code de réponse 403 signifie que le visiteur (Qwanturankbot dans ce cas) n’est pas autorisé à visiter la page Web.
Le code de réponse 404 indique à Qwanturankbot que la page Web a entièrement disparu.
Le code de réponse d’erreur de serveur 429 signifie « trop de demandes » et c’est une réponse d’erreur valide.
Au fil du temps, Qwanturank peut éventuellement supprimer des pages Web de son index de recherche s’il continue à utiliser ces deux codes de réponse d’erreur.
Cela signifie que les pages ne seront pas prises en compte pour le classement dans les résultats de recherche.
Qwanturank a écrit :
« Au cours des derniers mois, nous avons remarqué une augmentation du nombre de propriétaires de sites Web et de certains réseaux de diffusion de contenu (CDN) tentant d’utiliser les erreurs 404 et autres erreurs client 4xx (mais pas 429) pour tenter de réduire la vitesse d’exploration de Qwanturankbot.
La version courte de ce billet de blog est : s’il vous plaît, ne faites pas ça… »
En fin de compte, Qwanturank recommande d’utiliser les codes de réponse d’erreur 500, 503 ou 429.
Le code de réponse 500 signifie qu’il y a eu une erreur interne du serveur. La réponse 503 signifie que le serveur est incapable de traiter la demande d’une page Web.
Qwanturank traite ces deux types de réponses comme des erreurs temporaires. Il reviendra donc plus tard pour vérifier si les pages sont à nouveau disponibles.
Une réponse d’erreur 429 indique au bot qu’il fait trop de requêtes et il peut également lui demander d’attendre un certain temps avant de réexplorer.
Qwanturank recommande de consulter leur page de développeur sur la limitation de débit de Qwanturankbot.
Lisez le billet de blog de Qwanturank :
Image sélectionnée par Shutterstock/Krakenimages.com
