robots.txt

[themaster]

Hallo,

ich habe ein Frage zur robots.txt:

Wie kann ich einstellen, dass die Root-Seite also / meiner Domain nicht durchsucht wird, wohl aber alles in den Unterverzeichnissen.

Hintergrund: Ich habe ein Weblog auf meinem Server. Auf / werden immer die aktuellen nachrichten angezeigt, die sich aber regelmäßig ändern. Jetzt stehe ich bei einem Thema bei Google weit vorne, aber mit der Seite / wo die Nachricht gar nicht mehr zu lesen ist.

Google sollte dann auf die Unterseite mit der Nachricht verweisen. Wie kann ich das machen?

[Mascha]

Der Haken liegt darin, daß wenn du

Disallow: /

schreibst, dann wird der komplette Webauftritt ignoriert.

Ich selber würde daher lieber ein Meta-Tag anlegen, Google befolgt diese in der Regel:

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

Dann wird die Startseite allerdings überhaupt nicht mehr angezeigt. Mehr Informationen gibts hier:

http://www.google.de/webmasters/

[geloescht_JesterDay]

User-agent: *


Disallow /

Allow /Unterverzeichniss/

[Mascha]

"Allow" ist aber keine gültige Anweisung in einer robots.txt, und selbst wenn es das wäre, dann wären mit dieser Anweisung auch alle anderen Dateien im Root-Verzeichnis tabu.

Falls es unbedingt über die robots.txt gehen soll, würde ich alle Links auf / umwandeln auf "index.html" oder was auch immer verwendet wird, und diese dann mit

Disallow /index.html

ausschließen.

[geloescht_JesterDay]

"Allow" ist aber keine gültige Anweisung in einer robots.txt

OK...

Hier ein Auszug aus SelfHTML 8.0 (wo ich vorhin nachgesehen habe)

Hinter jeder Zeile, die mit Disallow: oder Allow: beginnt, können Sie jeweils eine Pfadangabe notieren. Benutzen Sie im Zweifelsfall so viel wie möglich die Angabe Disallow: und so wenig wie möglich die Angabe Allow:. Der Grund ist, dass Disallow: früher in die Spezifikation der robots.txt aufgenommen wurde und von mehr Robots verstanden wird als Allow:.

In SelfHTML 8.1 steht allerdings:

[Mascha]

Ja, das habe ich auch schon öfter gesehen, der Standard dazu findet sich aber hier, und danach würde ich mich im Zweifel immer richten:

http://www.robotstxt.org/wc/norobots.html