Réalisée par deux chercheurs des universités de l’Iowa (Etats-Unis) et Pise (Italie), cette étude estime la taille d’internet à environ 11,5 milliards de pages.

Avec un index de plus de 8 milliards de pages, Google sortait en tête des moteurs, couvrant environ 70% du web. Les différents moteurs n’indexant pas exactement tous les mêmes pages, la couverture totale été estimée à 9.4 milliards de pages soit 82%.

Ceci bien sûr, sans parler du Web Invisible (pages nécessitant un mot de passe, l’interrogation de bases de données, etc…) qui par définition n’est pas accessible aux moteurs.

Donc les moteurs ne nous montrent pas tout.

Dans un billet récent Shaun Ryan, tente d’estimer le nombre de recherches faites sur sites (pratiquement tous aujourd’hui, proposent une possibilité de recherche interne) et le compare au nombre de recherches faites sur les principaux moteurs.

Shaun Ryan est un « vendeur de recherche sur sites », (sa société offre ses services et outils de recherches personnalisées sur les sites de ses clients) et il nous apprend qu’ils leur arrivent de répondre à plus de 20 millions de requêtes par jour. Hors, comme il le dit humblement, sa société ne représente qu’une toute petite partie de ce secteur.

Si l’on compare ce chiffre aux 200 millions de requêtes (estimation pour les Etats-Unis en avril 2006) effectuées quotidiennement sur les moteurs de recherche classiques (Google totalisant à lui seul près de 90 millions de requêtes) il suffit d’extrapoler pour comprendre que la part des recherches sur sites dépassent de beaucoup la part des recherches sur moteurs.

Shaun estime les recherches sur sites à environ 2 milliards par jour !

Peu importe le chiffre réel en fait. Il est sans doute impossible de le connaître précisément de toute façon. Mais il est certain qu’il est de très loin supérieur à celui des recherches réalisées sur les moteurs.

Pour s’en convaincre, il suffit d’étudier le comportement des internautes, et l’on s’aperçoit qu’une fois découvert un site dont la thématique ou le service les intéressent, un des premiers réflexe est de saisir quelques mots clefs dans la boîte de recherche afin d’obtenir des résultats plus spécifiques.

Que cela soit pour trouver un produit sur Amazon ou un article traitant d’un sujet précis sur le site d’un journal en ligne.

C’est souvent un moyen efficace d’affiner une recherche initiale faite sur un moteur, mais il arrive, lorsque le site est déjà connu de l’internaute, que le moteur soit shunté, et la recherche initiale se fait alors directement sur site.

Je fréquente, par exemple, certains forums de webmasters ou de programmeurs. Lorsque je cherche une réponse à une question précise relative à la conception de sites, ou à l’utilisation d’une instruction de code, mon premier réflexe n’est pas Google, mais la boîte de recherche de ces forum car je sais d’expérience que les chances d’y trouver une réponse précise et pertinente à ma question y sont plus grandes.

Je connais déjà la thématique et la qualité de ces sites, je m’épargne ainsi d’avoir à faire le tri dans une multitude de résultats fournie par les moteurs, et dans laquelle il me faudra commencer par trier le bon grain de l’ivraie.

Les moteurs ne nous fournissent donc pas nécessairement les résultats plus pertinents.

Je récapitule :

  • Les moteurs ne nous permettent pas d’accéder à la totalité du contenu du web
  • Les moteurs ne permettent pas toujours d’obtenir les résultats les plus pertinents.

Et sur ce premier point, qui apparaît comme une limitation, on peut raisonnablement penser que l’augmentation du nombre de documents indexés se ferait au détriment de la pertinence, à moins que les techniques de sélection et de classement des résultats ne progressent également.

Alors pourquoi encore utiliser les moteurs de recherche ?

Parce que la recherche sur un site, et c’est là un truisme, présuppose de savoir que ce site existe.

Et avant de penser que cette recherche sur site puisse présenter un intérêt, il est nécessaire d’avoir une certaine connaissance de ce site, d’en cerner la thématique, et d’avoir une assez bonne appréciation de sa qualité et de sa pertinence.

En outre les moteurs sont souvent un excellent moyen de découvrir de nouveaux sites. L’indexation « brute » présente cette avantage de n’être pas sectaire, elle donne sa chance à tous est permet à de jeunes sites d’avoir la possibilité d’être découvert et de se faire remarquer (bien qu’à mon avis, cela soit de moins en moins vrai).

Néanmoins, la recherche sur site a je pense un bel avenir devant elle.

Des projets tels que OpenSearch ou Google Co-op en sont, à mon sens, l’illustration.

On peut, grossièrement, les définir en disant que leur principe de base est de favoriser les résultats de certains sites préalablement sélectionnés, ou d’effectuer des recherches sur un réseau de sites choisis.

C’est en fait un peu plus complexe que cela, et je reviendrais prochainement sur ces deux initiatives en développement.

Des articles détaillés, tant sur l’OpenSearch que sur Google Co-op sont prévus, il ne me reste plus qu’a trouver le temps.

A suivre donc… Je parle de la recherche sur site, pas de mes articles ;)