|
Daher basieren fast alle Suchmaschinen auf einem Automatismus, dessen wesentliche Stütze sogenannte Spider darstellen. Dabei handelt es sich um Programme, die das Internet kontinuierlich durchsuchen. Ein Spider startet auf der Homepage eines Servers und verfolgt nacheinander alle Links. Auf diese Weise bewegen sich Spider seitenweise über den Server.
Trifft ein Spider auf eine neue oder geänderte Seite, wird aus dieser eine Liste mit Schlüsselwörtern generiert, und die Datenbank der jeweiligen Suchmaschine
entsprechend aktualisiert. Datensätze werden entfernt, falls die Seiten mittlerweile gelöscht wurden. Die einzige Aktion, die vom Betreiber des Servers manuell
vorgenommen werden muß, ist die einmalige Anmeldung der Domäne.
Obgleich die Scangeschwindigkeit immens ist (Alta Vista untersucht 6 Millionen Seiten pro Tag), ändert sich das Netz viel zu schnell, als daß neue Informationen
unmittelbar berücksichtigt werden könnten. Die Spider der Suchmaschine Hotbot arbeiten mit einem Zyklus von zwei Wochen - so besteht kaum eine Chance, einen
eben erschienenen Artikel zu finden.
|
