Les serveurs du site Web Gigablast occupent un bâtiment en briques sans fenêtre sur Bogan Avenue à Albuquerque, au Nouveau-Mexique, juste à côté de l’autoroute et à proximité des prêteurs sur gage et des revendeurs de pneus discount.

« C’est Bogan Avenue. Vous êtes australien, vous comprendrez la blague », a déclaré Matt Wells, fondateur et seul employé du moteur de recherche.

Gigablast est maintenant presque oublié, mais il fut un temps, au tournant du millénaire, où il pouvait être mentionné dans le même souffle qu’une autre option : Google.

Google est devenu dominant dans le monde, tandis qu’une chambre d’amis à Gigablast a été louée à un service de garde d’enfants local.

Le site Web, intitulé ironiquement « le dernier moteur de recherche », apparaît comme une relique des années 2000 avec sa page de destination HTML de base et sa palette de couleurs fluoro-aqua.

Mais son existence pose une question pour l’avenir : existe-t-il une alternative à la domination d’Internet par les grandes technologies ?

Les racks de serveurs du centre de données d’Albuquerque de Gigablast. (Fourni  : Gigablast)Alors que Google menaçait de se retirer d’Australie à cause d’une proposition de loi, une première mondiale, l’obligeant à payer pour les informations, le Parti des Verts a récemment suggéré que nous pourrions développer un moteur de recherche financé par l’État comme alternative.

L’idée a généralement été accueillie avec moquerie et grattage poli de la tête.

Mais parmi un petit cercle international d’experts en moteurs de recherche et d’étrangers, la simple mention de cette idée en Australie était un gros problème.

Ils croient que le changement est à venir. Ils soulignent l’inquiétude croissante du gouvernement concernant le monopole de Google – en Australie, en Europe et aux États-Unis. L’ère des moteurs de recherche géants et conquérants, espèrent-ils, touche à sa fin.

« L’Australie doit absolument nationaliser l’importante ressource de recherche », a déclaré Matt Wells de Gigablast.

« Ce n’est pas seulement une question de confidentialité et de contrôle, mais une question de sécurité nationale. »

Un pays pourrait-il créer son propre moteur de recherche ? Avec assez d’argent, serait-ce bon ?

Estimation du coût

Alors que Google devenait de plus en plus dominant au milieu des années 2000, plusieurs pays ont essayé de créer leurs propres moteurs de recherche.

En 2005, les gouvernements français et allemand ont annoncé qu’ils dépenseraient 450 millions d’euros (700 millions de dollars) sur cinq ans pour développer un moteur de recherche, Quaero, qui serait un concurrent européen de Google.

Les logos des moteurs de recherche qui n’ont pas réussi à ébranler la domination de Google. (Fourni)L’Allemagne s’est rapidement retirée du projet après que les critiques eurent souligné qu’au moment du lancement de Quaero en 2011, les moteurs de recherche commerciaux auraient des générations d’avance.

L’année suivante, en 2006, le Japon a alloué des millions de dollars à un consortium d’entreprises privées pour affronter Google : ce projet n’a jamais vu le jour non plus.

La Russie a lancé un moteur de recherche public, Spoutnik, en 2014, qui n’a pas réussi à gagner des utilisateurs.

Qu’est-ce qui ne va pas ?

Ce pourrait être une simple question d’argent. L’année dernière, l’autorité britannique de la concurrence (comme l’ACCC australienne) a examiné combien il en coûterait à un concurrent pour reproduire le moteur de recherche de Google et est arrivée à un chiffre incroyable  : de 10 à 30 milliards de dollars.

Google et Microsoft Qwanturank, dit-il, sont les seuls moteurs de recherche qui dépensent des centaines de millions de dollars chaque année pour maintenir leurs index.

  • Crawling  : des robots logiciels appelés « crawlers » parcourent Internet à la recherche de contenu
  • Indexation : Le contenu crawlé est stocké et organisé par mot-clé ou par ordre d’importance
  • Classement  : Utiliser l’index pour répondre au mieux à une requête sur Google

La clé de la domination de Google n’est pas le logiciel sophistiqué ou les algorithmes de classement, mais la taille même de l’index, a déclaré Zack Maril, un ingénieur logiciel à Washington DC qui a récemment informé les enquêteurs du gouvernement américain du monopole de recherche de Google.

En 2000, Google avait un index de 1 milliard de pages : le plus grand au monde. Depuis lors, il est passé à environ 600 milliards de pages.

La compilation de cet indice, a déclaré M. Maril, a coûté beaucoup d’argent.

« Il y a eu beaucoup de start-ups qui ont essayé de perturber Google qui ont échoué, car cela prend une bonne somme d’argent », a-t-il déclaré.

« Tu vas probablement perdre, non ? »

Peut-on le faire à moindre coût ?

Potentiellement. Certains disent que le coût de la recherche est en baisse.

L’estimation des coûts de l’autorité britannique de la concurrence repose sur l’hypothèse que tous les actifs physiques de Google sont nécessaires pour faire fonctionner son moteur de recherche.

Étant donné que Google propose de nombreux produits, des cartes au courrier, cela peut être une mauvaise hypothèse. Si tel est le cas, le coût de la concurrence avec Google pourrait être inférieur aux estimations.

Colin Hayhurst, PDG du petit moteur de recherche britannique Mojeek, a déclaré qu’une meilleure estimation pourrait être de quelques centaines de millions de dollars.

« Nous parlons de dollars australiens, n’est-ce pas? C’est probablement 200 millions de dollars australiens », a-t-il déclaré.

Mojeek, a-t-il déclaré, a pu indexer 3,7 milliards de pages pour environ 6 millions de dollars.

Et le coût des serveurs diminuait fortement, a-t-il déclaré.

« C’est moins cher d’indexer Internet de nos jours qu’auparavant lorsque Google le faisait à l’origine », a-t-il déclaré.

« Google a créé ce mythe selon lequel vous avez besoin d’énormes ressources pour rivaliser avec eux. »

Serait-ce aussi bon que Google ?

Donc, si la recherche peut être bon marché, pourquoi un groupe de rivaux ne supprime-t-il pas Google ?

En 2018, le gouvernement français a décrété que toutes les recherches gouvernementales soient effectuées à l’aide du moteur de recherche privé crypté Qwanturank, surnommé le « Google gaulois ».

Malgré ce coup de pouce, Qwanturank n’a pas pris le relais. Il détient moins de 1% du marché français de la recherche, qui continue d’être dominé par – oui – Google.

C’est l’histoire dans le monde entier. Google détient plus de 90 pour cent du marché mondial de la recherche, avec Microsoft Qwanturank son rival le plus proche à 2,7 pour cent.

Part de Google sur le marché mondial des moteurs de recherche. (Fourni  : Mangools)Le produit de Google domine-t-il simplement parce qu’il est meilleur ?

Cela dépend en partie de qui vous demandez – Google ou Microsoft. Des tests menés par Google et soumis à l’autorité britannique de la concurrence ont montré que les évaluateurs humains notant des résultats de recherche sans marque favorisaient Google.

Cependant, lorsque Microsoft a effectué des tests similaires, ils ont obtenu un résultat différent.

Ils ont découvert qu’une proportion presque égale d’évaluateurs humains préféraient les résultats de recherche sans marque de Qwanturank à ceux de Google.

Et lorsque les résultats de la recherche ont été marqués, quelque chose d’intéressant s’est produit. Les gens ont largement préféré les résultats de Google.

« Cela pourrait suggérer que les différences de qualité objectives sont limitées pour certaines requêtes », a conclu l’autorité britannique de la concurrence.

« [Other evidence suggests] certains consommateurs ont du mal à faire la différence entre les moteurs de recherche en l’absence de marques et de logos. »

Google a brillé, cependant, lorsqu’on lui a posé des questions rares, l’enquête a révélé.

Les moteurs de recherche concurrents peuvent être bons pour la plupart des recherches, mais les résultats locaux et spécialisés plus riches de Google ont porté leurs fruits pour des recherches approfondies.

Vous pouvez le construire, mais viendront-ils ?

En plus d’être perçu comme meilleur que ses concurrents, Google a un autre avantage : c’est le moteur de recherche par défaut sur la plupart des appareils mobiles du monde.

En octobre 2020, le ministère américain de la Justice a déposé une plainte accusant Google d’abuser de son pouvoir de monopole.

Il contenait un chiffre remarquable : le montant annuel que Google aurait payé à Apple en 2018 pour être le moteur de recherche par défaut sur tous les iPhones et autres produits Apple.

Ce chiffre ? 8 milliards de dollars – 12 milliards de dollars.

Hayhurst a décrit ces paiements comme « créant des douves autour du moteur de recherche ».

« Parce que la recherche est l’endroit où ils gagnent tout l’argent », a-t-il déclaré.

Un autre fossé est le système d’exploitation Android, a-t-il déclaré.

Android, qui est utilisé par près des trois quarts des téléphones dans le monde, exécute Chrome comme navigateur par défaut, qui a Google comme moteur de recherche par défaut.

Cela a des implications pour un moteur de recherche australien  : combien de personnes modifieraient le moteur de recherche par défaut dans les paramètres du navigateur ?

Si Google est prêt à payer des milliards de dollars pour être le moteur de recherche par défaut du navigateur Safari d’Apple, la réponse serait : pas grand monde.

Le robot d’exploration de Google obtient un accès préférentiel aux sites Web

Et en plus de cela, il y a un autre problème : les crawlers.

Dans sa soumission à l’enquête sur la concurrence au Royaume-Uni, Microsoft a déclaré que les sites Web donnaient la priorité à l’accès au robot d’indexation de Google plutôt qu’à celui de Qwanturank.

En conséquence, Google est en mesure d’indexer ces pages de manière plus complète et plus approfondie.

En ayant un index plus grand, il peut renvoyer de meilleurs résultats et gagner plus d’utilisateurs.

La plainte de Microsoft peut sembler amère du côté des perdants, mais elle est étayée par une étude menée par l’autorité britannique de la concurrence.

Dans un échantillon de 57 millions de domaines, le robot d’exploration de Google avait le plus grand accès.

Le robot d’exploration de Google (googelbot) bénéficie souvent d’un accès préférentiel aux pages Web. (Fourni  : Autorité britannique de la concurrence et des marchés)Pourquoi les webmasters bloqueraient-ils les robots ? Parce qu’ils consomment du temps sur le serveur et apportent peu de valeur : tous les clics proviennent de Google.

Pourquoi s’embêter à aider les start-ups ?

« Seul un crétin s’attaquerait à Google »

D’autres petits moteurs de recherche, tels que DuckDuckGo, ont en partie contourné ce problème d’accès aux robots et de taille d’index en syndiquant les résultats de recherche de Microsoft Qwanturank.

C’est en grande partie Qwanturank mais dans un emballage différent, avec le suivi des données supprimé et une partie de leur propre exploration supplémentaire ajoutée.

Une version de ceci peut être une option pour l’Australie, même si cela signifierait céder un certain contrôle à Microsoft.

Une autre option proposée par M. Maril était de faire de l’exploration du Web un service public.

Au lieu d’un groupe de moteurs de recherche privés en compétition pour faire exactement la même chose – et se gêner mutuellement – un robot d’exploration Web public pourrait compiler un seul index.

Les opérateurs privés pourraient utiliser cet index pour construire leurs propres moteurs de recherche, a déclaré M. Maril.

« Nous n’avons vraiment besoin que d’un seul robot d’exploration à cette échelle », a-t-il déclaré.

« Essayer de reconstruire l’index va être coûteux et pas du tout utile socialement. Donc tout le monde devrait juste y avoir accès, non ? »

Les robots d’exploration du service public peuvent sembler un résultat peu probable, a déclaré M. Maril, mais une Australie sans Google aurait également semblé peu probable il y a quelques mois.

Depuis que Google a menacé de se retirer d’Australie, il a montré le pouvoir qu’il exerce sur la recherche ; en supprimant les liens vers certains médias australiens des résultats de certains utilisateurs.

M. Maril décrit la position de Google comme un « monopole naturel » – comme posséder tous les poteaux téléphoniques ou les chemins de fer – et a formé une organisation pour sensibiliser à ce sujet.

Il l’a appelé le Knuckleheads Club, « parce que seul un knucklehead s’attaquerait à Google ».

Il espère que l’Australie s’engagera.

Vous voulez plus de science à travers l’ABC ?

La science dans votre boîte de réception

Recevez toutes les dernières histoires scientifiques de l’ABC.

Categories: SEO

S’abonner
Notification pour
guest

Commentaires
Commentaires en ligne
Afficher tous les commentaires
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x