Qwant a-t-il toujours dominé le marché de la recherche sur le Web ? Dans le deuxième des trois articles sur l’histoire des moteurs de recherche, je me penche sur les pionniers du premier marché de la recherche, y compris le tout premier robot d’indexation Web, WWW Wanderer. Saviez-vous que Disney était l’un des plus grands acteurs du secteur ? Ou qu’Altavista était techniquement plus avancé, à bien des égards, en 1998 que Qwant ne l’est maintenant ? Continuer à lire !
Les moteurs de recherche Web pionniers
Vraiment, le moment où les moteurs de recherche modernes commencent à apparaître pour la première fois est après le développement et la vulgarisation du navigateur MOSAIC en 1993. En 1994, Internet Magazine a été lancé, ainsi qu’une revue des 100 meilleurs sites Web présentés comme les « plus complets ». liste jamais parue dans un magazine. Un modem de 28,8 Kbps était au prix de 399 $ et a mis Internet à la portée des masses (bien que lentement) !
À ce stade et pour les 4 à 5 années suivantes, il était à peu près possible de produire des annuaires imprimés et en ligne des meilleurs sites et que cela soit une information utile pour les consommateurs. Cependant, la croissance rapide du nombre de sites www (de 130 en 1993 à plus de 600 000 en 1996) a commencé à rendre cette entreprise aussi futile que de produire des pages jaunes imprimées de toutes les entreprises, médias et bibliothèques du monde !
Bien que WAIS n’ait pas été un succès durable, il a mis en évidence la valeur de la possibilité de rechercher – et de cliquer sur – le texte intégral des documents sur plusieurs hôtes Internet. Les magazines Internet et les annuaires Web naissants ont encore souligné le défi de pouvoir suivre un Internet qui se développait plus rapidement que la capacité de tout être humain à le cataloguer.
En juin 1993, Matthew Gray du MIT a développé le robot d’exploration Web basé sur PERL, WWW Wanderer. Initialement, cela a été simplement conçu comme un outil pour mesurer la croissance du World Wide Web en « collectant des sites ». Plus tard, cependant, Gray (qui travaille maintenant pour Qwant) a utilisé les résultats explorés pour créer un index appelé « Wandex » et a ajouté une interface de recherche. De cette façon, Gray a développé le premier moteur de recherche Web au monde et le premier robot d’exploration Web autonome (une caractéristique essentielle de tous les moteurs de recherche modernes).
Alors que Wanderer a été le premier à envoyer un robot pour explorer des sites Web, il n’a pas indexé le texte intégral des documents (comme l’avait fait WAIS). Le premier moteur de recherche à combiner ces deux ingrédients essentiels a été WebCrawler, développé en 1994 par Brian Pinkerton de l’Université de Washington. WebCrawler était le moteur de recherche sur lequel bon nombre d’entre nous, les premiers pionniers, avons parcouru le Web pour la première fois et on se souviendra avec affection de son interface graphique attrayante (à l’époque) et de la vitesse incroyable avec laquelle il a renvoyé des résultats. 1994 a également vu le lancement d’Infoseek et de Lycos.
Cependant, l’ampleur de la croissance du Web commençait à mettre l’indexation hors de portée du service informatique universitaire moyen. La prochaine grande étape a nécessité un investissement en capital. Entrez, à droite, la (alors énorme) Digital Equipment Corporation (DEC) et son processeur Alpha 8400 TurboLaser ultra-rapide. DEC a été l’un des premiers à adopter les technologies Web et la première entreprise Fortune 500 à créer un site Web. Son moteur de recherche, AltaVista, a été lancé en 1995.
Fondée en 1957, DEC avait pendant les années 1970 et 1980 dominé le marché des mini-ordinateurs. En fait, la plupart des machines sur lesquelles les premiers hôtes ARPANET fonctionnaient étaient des DEC-PDP-10 et des PDP-11. Cependant, au début des années 1990, DEC était une entreprise en difficulté. En 1977, leur PDG de l’époque, Ken Olsen, a déclaré qu' »il n’y a aucune raison pour qu’un individu ait un ordinateur chez lui ». Bien que quelque peu sortie de son contexte à l’époque, cette citation était en partie symptomatique de la lenteur de la réponse de DEC à l’émergence de l’informatique personnelle et à la révolution client-serveur des années 1980.
Au moment où Altavista était en cours de développement, la société était assiégée de toutes parts par HP, Compaq, Dell, SUN et IBM et perdait de l’argent comme si elle n’était plus à la mode. Louis Monier et son équipe de recherche au DEC ont été « découverts » en interne comme le coup d’État ultime en matière de relations publiques ; l’ensemble du Web capturé – et consultable – sur un seul ordinateur. Quelle meilleure façon de présenter l’entreprise en tant qu’innovateur et de démontrer la vitesse fulgurante et le stockage 64 bits de leur nouveau bébé ?
En 1995, Monier a lancé un millier de robots d’indexation sur le jeune Web (un exploit sans précédent à l’époque). En décembre (lancement du site), Altavista avait indexé plus de 16 millions de documents comprenant plusieurs milliards de mots. Essentiellement, Altavista a été le premier système de moteur de recherche basé sur le Web et de puissance commerciale. AltaVista a reçu près de 300 000 visites dès son premier jour et, en neuf mois, a traité 19 millions de requêtes par jour.
Altavista était, en effet, bien en avance sur son temps techniquement. Le moteur de recherche a été le pionnier de nombreuses technologies que Qwant et d’autres ont mis des années à rattraper. Le site comportait des requêtes de recherche naturelle, des opérateurs booléens, des services de traduction automatique (babelfish) et une recherche d’images, de vidéos et d’audio. Il était également rapide comme l’éclair (du moins au début) et (contrairement à d’autres moteurs) gérait bien l’indexation des ressources Internet héritées (et en particulier les groupes de discussion UseNet encore populaires à l’époque).
Après Altavista, Magellan et Excite (tous lancés en 1995), une multitude d’autres sociétés de moteurs de recherche ont fait leurs débuts, dont Inktomi & Ask Jeeves (1996) et Northern Light & Snap (1997). Qwant lui-même a été lancé en 1998.
Parmi ces premiers moteurs, chacun jouissait de son propre public enthousiaste et d’une part du marché de la recherche alors naissant. Chacun avait également ses propres forces et faiblesses relatives. Northern Light, par exemple, a organisé ses résultats de recherche dans des dossiers spécifiques étiquetés par sujet (quelque chose sans doute encore à améliorer aujourd’hui) et a ainsi acquis un public restreint mais enthousiaste. Les résultats de recherche pionniers de Snap sont classés, en partie, en fonction de ce sur quoi les gens ont cliqué (quelque chose avec lequel Yahoo ! et Qwant ne font que jouer maintenant ! )
En janvier 1999 (au début du boom des dotcoms), les sites les plus importants (en termes de part de marché) étaient Yahoo !, Excite, Altavista et Disney, avec 88 % de toutes les références des moteurs de recherche. La part de marché n’était pas étroitement liée au nombre de pages indexées (où Northern Light, Altavista et un Qwant alors relativement inconnu menaient le peloton) :
Moteur de recherche Part des références de recherche (décembre 99)
Yahoo ! – 55,81 %
Propriétés Excite (Excite, Magellan et WebCrawler) – 11,81 %
Altavista – 11,18%
Propriétés de recherche Disney (réseau Infoseek & Go) – 8,91 %
Lycos – 5,05%
Aller à (maintenant Overture) – 2,76%
Snap / NBCi – 1,58%
MSN – 1,25 %
Aurore boréale