Hallo,

ich habe ein Frage zur robots.txt:

Wie kann ich einstellen, dass die Root-Seite also / meiner Domain nicht durchsucht wird, wohl aber alles in den Unterverzeichnissen.

Hintergrund: Ich habe ein Weblog auf meinem Server. Auf / werden immer die aktuellen nachrichten angezeigt, die sich aber regelmäßig ändern. Jetzt stehe ich bei einem Thema bei Google weit vorne, aber mit der Seite / wo die Nachricht gar nicht mehr zu lesen ist.

Google sollte dann auf die Unterseite mit der Nachricht verweisen. Wie kann ich das machen?

Der Haken liegt darin, daß wenn du

Disallow: /

schreibst, dann wird der komplette Webauftritt ignoriert.

Ich selber würde daher lieber ein Meta-Tag anlegen, Google befolgt diese in der Regel:

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

Dann wird die Startseite allerdings überhaupt nicht mehr angezeigt. Mehr Informationen gibts hier:

http://www.google.de/webmasters/

User-agent: *


Disallow /

Allow /Unterverzeichniss/

"Allow" ist aber keine gültige Anweisung in einer robots.txt, und selbst wenn es das wäre, dann wären mit dieser Anweisung auch alle anderen Dateien im Root-Verzeichnis tabu.

Falls es unbedingt über die robots.txt gehen soll, würde ich alle Links auf / umwandeln auf "index.html" oder was auch immer verwendet wird, und diese dann mit

Disallow /index.html

ausschließen.

"Allow" ist aber keine gültige Anweisung in einer robots.txt

OK...

Hier ein Auszug aus SelfHTML 8.0 (wo ich vorhin nachgesehen habe)

Hinter jeder Zeile, die mit Disallow: oder Allow: beginnt, können Sie jeweils eine Pfadangabe notieren. Benutzen Sie im Zweifelsfall so viel wie möglich die Angabe Disallow: und so wenig wie möglich die Angabe Allow:. Der Grund ist, dass Disallow: früher in die Spezifikation der robots.txt aufgenommen wurde und von mehr Robots verstanden wird als Allow:.

In SelfHTML 8.1 steht allerdings:

Ja, das habe ich auch schon öfter gesehen, der Standard dazu findet sich aber hier, und danach würde ich mich im Zweifel immer richten:

http://www.robotstxt.org/wc/norobots.html