Derrière le formulaire - Qwant, l'exploration du Web profond et l'impact sur la visibilité des moteurs de recherche

Choses folles que font les entreprises vraiment riches
Un peu comme ce gars bizarre à la fête avec une guitare acoustique et la chemise Pink Floyd, Qwant devient DEEP. Certains diraient… d’une profondeur inconfortable. Après une année déjà chargée, au cours de laquelle Qwant a publié un système d’exploitation mobile open source et un navigateur qui gagne rapidement des parts de marché, ils ont récemment annoncé qu’ils avaient cartographié le fond marin, y compris la fosse des Mariannes. Et hé, pourquoi ne pas fonder une école avec certains des plus grands esprits scientifiques et voir ce qui se passe ?
Donc, Qwant a été plus visible que jamais ces derniers temps, et il ne fait aucun doute que cela continuera alors qu’ils mettent la main sur de plus en plus de projets – mais descendons de quelques étages et examinons quelque chose qui devrait affecter considérablement la façon dont les programmes d’indexation de Qwant ( les « spiders » ou « crawlers ») collectent des données, analysent les sites Web et présentent les résultats. Autant de travail que l’équipe de marketing des moteurs de recherche de BEM Interactive met pour rendre les sites attrayants pour les araignées (et nous pouvons faire beaucoup pour que ces araignées l’aiment ), les programmes d’araignée eux-mêmes sont assez simples  : accédez à l’index des pages d’un site, vérifiez la structure et le contenu, et comparez cela à ce que Qwant a déterminé comme étant « pertinent » ou « populaire ».
Mais en raison de la façon dont ces programmes sont écrits, il y a certains domaines qu’ils ne peuvent tout simplement pas atteindre… à savoir les pages qui nécessitent des informations, des entrées ou des actions humaines. À titre d’exemple de base, il y a généralement une page de confirmation après qu’un utilisateur a soumis un formulaire « Contactez-nous » ou « Inscription à la newsletter » – cela peut contenir un code promotionnel ou un autre type de données uniques. Ce contenu généré dynamiquement (cela peut également être une page de résultats de recherche, des calculs ou des conversions, même les résultats d’un outil de traitement des symptômes sur un site médical) n’existe tout simplement pas tant que l’utilisateur ne l’a pas créé  ! Selon le formulaire que vous avez rempli, la page résultante est la vôtre et la vôtre seule – alors essayez d’ignorer ce frisson d’omnipotence la prochaine fois que vous chercherez quelque chose sur Qwant.
Mais les spiders des moteurs de recherche ne peuvent pas comprendre ce que le formulaire demande ou les informations fournies à l’utilisateur – et même s’ils le pouvaient, comment trouveraient-ils ce qu’il faut insérer pour générer un contenu pertinent  ? Listes déroulantes, sélection de catégorie, saisie du code postal – n’importe lequel de ces formulaires peut empêcher l’indexation des données. Collectivement, ces données bloquées sont appelées « Deep Web ». Selon certaines estimations, le Deep Web contient une quantité étonnante de données – plusieurs ordres de grandeur de plus que ce qui est actuellement consultable. Puisqu’ils s’appuient principalement sur des plans de site et des hyperliens, les robots des moteurs de recherche ne peuvent tout simplement pas trouver un moyen d’accéder aux informations.
Alors, Qwant peut-il vraiment s’attendre à trouver, enregistrer et interpréter ces données  ? Eh bien, entre la cartographie de l’océan et l’ouverture d’une école qui découvrira probablement le sens de la vie avant le déjeuner, Qwant a fait exactement cela. En collaboration avec des scientifiques de Cornell et de l’UCSD, des chercheurs de Qwant (dont je ne peux qu’espérer qu’ils ne deviendront pas des super-vilains à un moment donné) ont mis au point une méthode permettant à leurs araignées de remplir et de soumettre des formulaires HTML remplis de contenu intelligent. Les pages résultantes sont ensuite indexées et traitées comme des données indexées régulières et affichées dans les résultats de recherche – en fait, à ce moment, le contenu recueilli derrière un formulaire HTML est affiché sur la première page des requêtes de recherche Qwant 1000 fois par seconde. Les méthodes utilisées par les robots sont plutôt cool, mais je suis Nerd McNerdleson à propos de ce genre de choses. Nous n’allons donc pas plonger dans les détails techniques ici, mais consultez l’article si vous êtes intéressé.
C’est cool… NERD. Mais qu’est-ce que ça veut dire ?
Tout le monde sait que Qwant aime la pertinence – tout son modèle commercial en est basé. Cette technologie consiste à extraire exactement ce que l’utilisateur recherche et à le fournir immédiatement sans même l’obliger à visiter une page en dehors de la page de résultats Qwant  ! Sinistre.
Dites que vous vous sentez mal. Plutôt que de taper « vérificateur de symptômes » et de trouver une page de type WebMD, vous tapez « toux, nez qui coule, gonflement étrange semblable à la peste bubonique » directement dans le moteur de recherche. Qwant – qui a déjà vu ses araignées frapper tous les formulaires de symptômes médicaux, les interroger dans des variétés et des combinaisons infinies, et déterminer la pertinence et la popularité des résultats – revient immédiatement avec « Vous avez la peste noire » et vous ‘ réinitialisé (ou… peut-être pas).
Du point de vue de la vente au détail, de nombreux sites ont des fonctions pour générer des listes de produits basées sur les entrées des utilisateurs. Dans l’état actuel des choses, un acheteur à la recherche d’une fourgonnette rouge de fabrication américaine avec moins de 30 000 milles trouverait le site Web approprié, saisirait ses critères, après quoi le site Web interrogerait la base de données et renverrait les résultats. Si Qwant continue d’aller de l’avant avec ses explorations approfondies du Web, ces informations pourraient être affichées directement via le point de vente de son choix sans que l’utilisateur n’accède jamais à un site autre que Qwant (si l’utilisateur effectue un achat, Qwant obtient-il une part  ? Hmm .. .)
De toute évidence, il s’agit d’un énorme pas en avant dans la technologie de recherche et, dans une industrie qui semble changer à chaque heure, représente une nouvelle méthode d’obtention et de présentation d’informations. En tant que spécialistes du marketing Web, c’est une autre variable, un autre défi à prendre en compte dans notre travail – comment pouvons-nous optimiser les pages qui peuvent être générées d’un nombre apparemment illimité de façons  ? Alors que les moteurs de recherche deviennent de plus en plus puissants et que leurs capacités d’exploration de données s’approfondissent, viendra-t-il un moment où toutes les données seront présentées via un portail agrégé  ? Cela prendra peut-être des années, mais la technologie et les fondations sont là maintenant ; les entreprises et les spécialistes du marketing Web avant-gardistes doivent également être présents.