Ce sont les moteurs de recherche qui font finalement connaître votre site Web aux clients potentiels. Il est donc préférable de savoir comment ces moteurs de recherche fonctionnent réellement et comment ils présentent les informations au client (internaute) qui lance une recherche.
Il existe essentiellement deux types de moteurs de recherche. Le premier est celui des robots appelés crawlers ou spiders.
Les moteurs de recherche utilisent des araignées pour indexer les sites Web. Lorsque vous soumettez les pages de votre site Web à un moteur de recherche en remplissant la page de soumission requise, l'araignée du moteur de recherche indexe l'ensemble de votre site.
Un "spider" est un programme automatisé qui est exécuté par le système du moteur de recherche. L'araignée visite un site Web, lit le contenu du site, les balises Meta du site et suit également les liens que le site relie. L'araignée renvoie ensuite toutes ces informations à un dépôt central, où les données sont indexées.
Il visitera chaque lien que vous avez sur votre site et indexera également ces sites. Certains spiders n'indexent qu'un certain nombre de pages sur votre site, ne créez donc pas un site de 500 pages !
L'araignée retournera périodiquement sur les sites pour vérifier si des informations ont été modifiées. La fréquence à laquelle cela se produit est déterminée par les modérateurs du moteur de recherche.
Une araignée est presque comme un livre où elle contient la table des matières, le contenu réel et les liens et références de tous les sites web qu'elle trouve pendant sa recherche, et elle peut indexer jusqu'à un million de pages par jour.
Exemple : Excite, Lycos, AltaVista et Google.
Lorsque vous demandez à un moteur de recherche de localiser une information, il cherche en fait dans l'index qu'il a créé et non dans le Web. Les différents moteurs de recherche produisent des classements différents car ils n'utilisent pas tous le même algorithme pour rechercher dans les index.
L'algorithme d'un moteur de recherche analyse notamment la fréquence et l'emplacement des mots clés sur une page Web, mais il peut également détecter le bourrage artificiel de mots clés ou le spamdexing.
Ensuite, les algorithmes analysent la manière dont les pages sont liées à d'autres pages du Web. En vérifiant comment les pages se lient les unes aux autres, un moteur peut à la fois déterminer le sujet d'une page, si les mots-clés des pages liées sont similaires aux mots-clés de la page d'origine.