Wer eine neue Webseite oder einen neuen Blogbeitrag schreibt, der möchte gerne, dass dies schnell bei Google und anderen Suchmaschinen sichtbar wird. Doch die Indexierung (ebenso wie die Crawl-Häufigkeit oder Besuchsfrequenz des Suchmaschinen-Robots) hängt von vielen Faktoren ab, die man einzeln beeinflussen muss, damit das Ranking der eigenen Webseiten gefördert wird.
Normalerweise wird nur eine Webpräsenz häufiger von einem Suchrobot aufgesucht, wenn diese Webpräsenz auch aktueller gehalten wird. Dies heißt, dass die Besuchsfrequenz von der Häufigkeit von Änderungen abhängt. Neue Webseiten müssen regelmäßig also berechenbar publiziert werden. Bestehende Webseiten können gelegentlich aktualisiert werden. Das merken auch Suchmaschinen, sie kommen öfter, wenn es erkennbar wird, dass auf diese Weise auch für Suchmaschinen die Aktualität gewahrt werden kann. Dies ist auch ein gutes Argument für Blogs mit Kommentarfunktion auf der eigenen Webpräsenz. Denn durch die Kommentare kommt Bewegung in die Webseiten. Es bringt daher auch im Sinne der Suchmaschinen-Optimierung Vorteile, wenn man Besucher und Interessenten dazu bringt, Kommentare und Bewertungen auf den eigenen Webseiten unterzubringen und damit verdeutlicht, dass die eigenen Webseiten ständig verbessert und aktualisiert werden.
Eine weitere Methode, den Suchmaschinen zu zeigen, dass sich etwas auf der eigenen Webpräsenz tut, sind externe Links, die auf frische Inhalte verweisen oder schon länger vorhandene Inhalte erneut thematisieren. Die Erstellung bzw. das Motivieren von qualitativ guten Backlinks hilft den Suchmaschinen auf die Sprünge, denn diese externen Links zeigen eine Anerkennung auf, selbst wenn sie Einzelfall tatsächlich einmal eher kritisch gemeint sind. Deshalb gilt auch für die Suchmaschinen-Optimierung das Aufmerksamkeitsprinzip: Besser es wird überhaupt über einen geredet, als das man totgeschwiegen wird.
Von eher untergeordneter Bedeutung für die Crawl-Häufigkeit ist die Ladezeit einer Webseite. Es sei denn, dass die Webseiten sehr umfangreich sein, was man aber im Sinne der Suchmaschinen-Optimierung eher vermeiden sollte. Eine gute Ladezeit ist aber förderlich für das Ranking, denn auch Suchmaschinen wissen, dass lange Ladezeiten von Besuchern zum Abbruch des Besuchs führen können. Um die Ladezeit zu verbessern, muss man den Code verschlanken, also auf ein Content-Management-System umsteigen, was schnellen Code und fehlerfreie Darstellung unterstützt. Noch wichtiger bei der Ladezeit könnte aber der Provider sein, bzw. das Produkt, das man bei ihm geordert hat. Normalerweise ist es besser für die Ladezeit, wenn man einen eigenen Server betreibt, der die eigene IP-Adresse nicht mit anderen Webpräsenzen teilen muss.
Schließlich könnte es noch gut für die Verbesserung der Crawl-Häufigkeit sein, dass man den Suchmaschinen eine Sitemap bietet. Insbesondere Webpräsenzen mit vielen Webseiten brauchen die Sitemap, um gleichzeitig alle unterschiedlichen Seiten den Suchmaschinen zur Verfügung zu stellen.
Es gibt also viele Ansatzpunkte, um die Crawl-Häufigkeit zu verbessern. Man beauftragt am besten eine Agentur mit der Recherche und fordert von diesen Verbesserungsvorschläge ein. Eine gute SEO-Agentur kann auch das gesamte Umfeld erfassen, um insgesamt die Suchmaschinen-Optimierung zu verbessern.