Leider kommt es immer mal wieder vor, dass man in der Hektik des Alltags Webseiten produziert, die man später gerne wieder aus den Suchmaschinen-Ergebnisseiten entfernen möchte. Es geht dabei weniger um Seiten, die fehlerhafte Inhalte enthalten. Viel häufiger ist der Fall, dass man temporäre Webseiten durch ein Content-Management-System publiziert, die dann von den Suchmaschinen-Robots in die Datenbank der Suchmaschine aufgenommen werden, obwohl dies keinen Sinn für den Publizisten ergibt. Fehler können auch dadurch entstehen, dass externe Verlinkungen von anderen Webmastern falsch erstellt wurden.
Um solchen Effekten unerwünschter eigener Webseiten auf die Spur zu kommen, bieten sich die Google Webmaster Tools an, die man kostenlos mit einem ebenfalls kostenlosen Google-Konto nutzen kann. Diese Webmaster Tools wurden hier schon öfters empfohlen: http://blog.seo-ambulance.de/suchmaschinenoptimierung/link-analyse-mit-google-webmaster-tools/.
Man findet fehlerhafte eigene Webadressen, wenn man zum Auswahlpunkt Status > Crawling-Fehler wechselt und dort auf Nicht gefunden klickt.
Google gibt auch wichtige Infos zur Art des Fehlers und welche Relevanz der Fehler hat. Um den Fehler zu beseitigen kann man dann eine neue Webseite mit der bisher fehlerhaften Adresse erstellen und dort gute Inhalte für Nutzer bereit stellen. Das empfiehlt sich besonders dann, wenn die Webseite bereits externe Links hat.
Praktischerweise hat man mit den Google Webmaster Tools auch schon ein Instrument, um die fehlerhafte Seite bei der Suchmaschine Google abzumelden.
Hier ist die Vorgehensweise: Optimierung > URL entfernen > Neuer Antrag auf Entfernung stellen
Man kann einzelne Webadressen, einzelne Bilder oder einzelne sonstige Dateien entfernen lassen. Es ist aber auch möglich, komplette Verzeichnisse bzw. Unterverzeichnisse zu blockieren.
Diese Vorgehensweise zum Löschen von Inhalten funktioniert natürlich nur für die Suchmaschine Google. Es gibt aber weitere Techniken zum Löschen von Inhalten aus Suchmaschinen-Ergebnisseiten, die generell auch bei anderen Suchmaschinen funktionieren.
Die Nutzung der .htaccess-Datei zum Sperren von Inhalten.
Bei .htaccess handelt es sich um eine Konfigurationsdatei, die der Webmaster im Stammverzeichnis seiner Website ablegt und in der Webadressen auf eine andere Adresse umgeleitet werden können. So kann man unerwünschte Seiten einfach dadurch unwirksam machen, dass man gezielt auf eine andere Seite umleitet. Diese Seite kann auch die Startseite der Webpräsenz oder eine spezielle Seite mit weiteren Suchmöglichkeiten sein. Allerdings ist es nicht bei jedem Webhoster gestattet, eine eigene .htaccess-Datei zu verwenden.
Mit robots.txt den Zugriff auf bestimmte Inhalte der Website dem Suchmaschinen-Robot verbieten
Robots.txt ist eine einfache Textdatei, die es den Suchmaschinen-Robots verbietet, eine bestimmte Adresse oder eine bestimmtes Verzeichnis zu crawlen. Man kann hier wieder die Google-Webmaster-Tools nutzen, um die Datei zu testen und zu erstellen bzw. zu modifizieren. Je nach Einstellung funktioniert diese Datei dann auch für andere Suchmaschinen-Robots. Einfach auf Status > Blockierte URLS gehen.
Allerdings kann eine Webadresse möglicherweise nicht aus den Suchmaschinen-Ergebnisseiten entfernt werden, wenn auf einer anderen Website ein Link auf einen entsprechenden Inhalt gesetzt wurde. Solche unerwünschten Links können aber mit den Google Webmaster Tools erkannt werden und man könnte den Inhalt ändern oder umleiten oder den jeweiligen Webmaster auf den Verzicht auf die Verlinkung oder um eine Änderung der Verlinkung bitten.