Un moteur de recherche est une application web permettant de retrouver des ressources associées à des mots quelconques. Cet instrument de recherche est constitué de "robots", encore appelés bots, spiders, crawlers ou agents qui parcourent les sites à intervalles réguliers et de façon automatique, sans intervention humaine, ce qui les distingue des annuaires, pour découvrir de nouvelles URL. Ils suivent les liens hypertextes, qui relient les pages les unes aux autres, rencontrés sur chaque page atteinte. Chaque page identifiée est alors indexée dans une base de données, accessible ensuite par les internautes à partir de mots-clés.