El creciente número de documentos presentes en Internet, desde 1993 y 1994, facilitó la aparición de herramientas de recopilación automática de documentos, que recopilaban copias de todos aquellos que encontraban, y las introducían en bases de datos textuales, que podían ser consultadas mediante interfaces de búsqueda que permitían utilizar los operadores booleanos. En principio, todos los motores de búsqueda ofrecen un esquema similar: base de datos, programa de indización, robot de búsqueda e interfaz. El robot o araña es el programa que cruza la Web moviéndose de un documento a otro, descendiendo progresivamente a través de los hiperenlaces. El programa de indización se ocupa de indizar la información de los millones de páginas web ubicadas en servidores conectados a la red formando gigantescas bases de datos a las que acceden los usuarios a través de la interfaz del buscador.

Los metabuscadores son sistemas cuyas interfaces facilita que se pueden usar varios motores de búsqueda al mismo tiempo. Actúan como intermediarios que remiten las cuestiones a varios motores seleccionados, y reenvían las respuestas, procesadas o no, al usuario.