Bots werden allgemein immer populärer. Bots wie der Googlebot haben die Welt verändert. Ein Bot wie der Googlebot ist dabei nicht anders als ein Computerprogramm, dass regelmäßig die Webseiten der Welt durchkämmt. Nicht nur Texte, sondern auch Bilder und weitere Informationen werden gefunden. Dazu muss parallel mit vielen Vorgängen gearbeitet werden. Es bleibt die Frage offen, ob der Google mit dem Googlebot nicht Probleme bekommt, wenn die notwendige Parallelität zu Unstimmigkeiten in der Datenaufbereitung führt.
Der Googlebot ist besser bekannt als Webcrawler. Wie eine Spinne suchen viele kleine Programme das Web ab und bewegen sich eher unsystematisch von einer Webseite zur nächsten. Das bedeutet, dass man eher gefunden wird, wenn man besser verlinkt wurde. Der Googlebot ist da relativ unflexibel. Er folgt nach einem Zufallsverfahren den Links, womit auch klar wird, dass Webseiten, auf die viele Links zeigen, schneller erreicht werden, als Webseiten, die nur wenige bis keine externen Links aufweisen.
Dass der Googlebot den Zufall braucht bzw. nutzt, werden viele Computer-Kenner bezweifeln, denn in der Welt der deterministischen Systeme kann es eigentlich keinen Zufall geben. Doch es ist inzwischen klar, das Computer und die Systeme mit Computern dann nicht mehr berechenbar und deterministisch sind, wenn sie laufend an Komplexität zunehmen. Es gibt also dort draußen in der Welt Orakel-Turingmaschinen, die auf systematische Weise den Zufall eingebaut haben. Eine Turingmaschine ist nichts anderes als ein verallgemeinertes mathematisches Modell von Computern.
Alan Turing, der die Idee des Computers miterfunden hat, ging ursprünglich von einer streng deterministischen Maschine aus, musste dann aber erkennen, dass man ohne Zufall an bestimmten Stellen nicht weiterkommen konnte. Dass wurde auch den Gründern von Google klar, als sie ihren Googlebot entwickelten. Der Googlebot soll alle Links einer Webseite verfolgen, doch womit soll er anfangen? Einfach von oben nach unten und von rechts nach links? Damit würde das Surfer-Verhalten der Internutzer nicht angemessen abgebildet. Notgedrungen geht der Googlebot von einem „zufälligen Surfer“ (Random Surfer) aus, der zufällig irgendeinen Link auswählt und damit sich zu einer anderen Webseite bewegt.
Dass dieses „gleichmäßige Zufallsverhalten“ des Googlebot aber noch verbessert werden kann, hat man bei Google inzwischen erkannt. Gut sichtbare Links, links die weiter oben oder weiter links stehen, werden eher angeklickt; das lässt sich leicht an Hand von Beobachtungsstudien nachweisen. Also verpasst man dem Googlebot ein „intelligentes“ Zufallsverhalten: Man definiert für den Googlebot Regeln, wie er die Wahrscheinlichkeit von Klicks innerhalb der Webseite verschiebt. Wie der Googlebot das im Einzelnen macht, ist natürlich Geschäftsgeheimnis von Google.
Schlussfolgerung zum Googlebot-Verhalten für Seos: Wenn es um die Gewinnung externer Links geht, dann schau nicht nur auf die Linkquelle, ihre Reputation und ihren PageRank; achte auch darauf, dass möglichst wenige weitere Links auf der verlinkenden Webseite vorliegen und nutze Möglichkeiten, die Links gut sichtbar nach links oben zu bringen. Wobei natürlich darauf zu achten ist, dass dem Googlebot Dein Einflussverhalten nicht auffällt. Suchmaschinen-Optimierung ist eine spannende Tätigkeit. Man kann den Zufall vom Googlebot nutzen, um Optimierung zu erreichen, aber nur wenn dadurch nicht der Zufall auf sichtbare Weise ausgehebelt wird.