Wer einen neuen Blogbeitrag oder eine neue Webseite publizieren möchte, der hätte gern, wenn dies schnell bei Suchmaschinen sichtbar wird. Doch die Indexierung bei Suchmaschinen wie Google hängt auch vom sogenannten Crawl-Budget ab, denn es wird je nach Website definiert, wie lange und intensiv Webseiten dort erfasst werden. Kennt man die Zusammenhänge, dann kann man das eigene Crawl-Budget optimieren.
Meist wird eine Website häufiger besucht und intensiver durchforstet, wenn sie aktuell gehalten wird und immer mal wieder neuen Content bietet. Dieser Content muss aber auch tatsächlich nachgefragt werden, was Suchmaschinen mit verschiedenen Indikatoren bestimmten können. Daraus ergibt sich dann ein Bild der Resonanz der Website, die dazu führt, dass ein gewisses Crawl-Budget vorhanden ist. Sehr große Websites mit vielen Varianten von Content müssen damit leben, dass es bei geringem Crawl-Budget dann länger dauert bis alle Webseiten indexiert sind. Allerdings können aktuell hervorgehobene Webseiten (beispielsweise Blogwebseiten) am Budget vorbei nach vorne kommen, insbesondere wenn sie über Kommentare oder externe Links Interaktionen erzeugen.
Externe Links, die auf aktuelle Inhalte verweisen, sind Signale an Suchmaschinen für die Bedeutung der Inhalte. Sie zeigen Anerkennung an und motivieren Besucher und Suchmaschinen die entsprechenden Webseiten zu besuchen. Zeigt sich dann im steigenden Ranking ein stärkerer Besucherantrag, dann ist dies ein Hinweis auf Bedeutungszunahme der Webseiten, die aktuelle Themen aufgreifen oder langfristig nachhaltiges Interesse bedienen können. Das führt dann langfristig zur Steigerung des Crawl-Budgets, was auch Webseiten zugute kommt, die bisher im Schatten standen.
Gestritten wird über die Frage, ob die Ladezeit von Webseiten einer Webpräsenz das Crawl-Budget beeinflusst. Zumindest indirekt kann dies angenommen werden. Denn schnelle Webseiten werden auch von Crawler schneller und besser erfasst. Er kann also in derselben Zeit mehr Informationen aufnehmen. Die gute Ladezeit ist auch förderlich fürs Ranking, denn Suchmaschinen gehen davon aus, dass kurze Ladezeiten eine bessere Akzeptanz bei Besuchern hat, insbesondere bei mobilen Endgeräten. Man kann mit einem sehr einfachen Tool bei Google die Ladezeit oder den Pagespeed messen. Man gibt einfach eine Webadresse ein und dann wird angezeigt, wie der Pagespeed bei Desktop-Rechnern und mobil einzuschätzen ist. Nicht nur eine nummerische Bewertung wird geboten, es wird auch gezeigt, wo man ansetzen kann, um die Ladezeit der eigenen Webseiten zu verbessern.
Ebenfalls gut für das Crawl-Budget ist, wenn eine Sitemap von der Website angeboten wird. Denn damit werden Recherchen vermieden, wie denn genau die Adressen der Website zu bestimmen sind. Das Crawl-Budget wird auch besser ausgenutzt, wenn eine möglichst flache Webseitenstruktur vorliegt, die allerdings schwer bei großen Websites zu erreichen ist. Wichtige Webseiten sollten mit möglichst wenig Klicks (drei oder weniger) erreicht werden können. Dies kann erreicht werden, wenn es eine gute interne Verlinkung (Querverlinkung) für die wichtigsten Webseiten gibt. Unwichtige Webseiten, die nicht für das Ranking benötigt werden (z.B. Login-Seiten für das Content-Management-System) können vom Crawling mittels robots.txt ausgeschlossen werden, womit diese Seiten dann auch nicht das Crawl-Budget belasten.