Fonctionnement
Le fonctionnement d'un moteur de recherche se décompose en trois étapes principales.
- L'exploration ou crawl : le Web est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens
qu'il trouve et récupérant les ressources jugées intéressantes.
L'exploration est lancée depuis une ressource pivot, comme une page d'annuaire Web.
- L'indexation des ressources récupérées consiste à extraire
les mots considérés comme significatifs (pratiquement tous)
correspondant à chaque ressource. Les mots extraits sont enregistrés dans une base de données organisée comme un gigantesque dictionnaire inverse ou, plus exactement, comme l'index terminologique
d'un ouvrage, qui permet de retrouver rapidement dans quel chapitre de
l'ouvrage se situe un terme significatif donné. Les termes non
significatifs s'appellent des mots vides.
- La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme
gardé secret est généralement appliqué pour donner un poids variable
aux correspondances, afin de pouvoir présenter les résultats des
recherches par ordre de pertinence supposée. L'algorithme tient
généralement compte du contexte du mot clé (titre, paragraphe,
hyperlien...) et de la ressource (ressources liées, popularité du
site...)