Robots.txt mit Ausschluss von EmailCollector

[MCTimotheus18]

Hallo Leute,

ich habe folgende Robots.txt programmiert:

User-agent: EmailCollector

Disallow: /


User-agent: *

Allow: /

Kann ich das so machen muss ich jeden einzelnen Spider erwähnen, da ich ja auch den EmailCollector ausschließe, jedoch unten ALLEN alles erlaube. Wiederspricht sich hier was? Wenn ja bitte um Korrektur :-)

[MCTimotheus18]

Kann mir denn keiner hier helfen ?

[SNOWMAN]

ich weiß nicht ob das geht, aber hat die robots.txt sowas wie allow, deny reihenfolgen?

also ich kenn halt von der apache-conf das ich mit dieser reihenfolge festlegen kann was mehr zählt.

[geloescht_JesterDay]

1. es gibt kein Allow in der robots.txt

2. gibt es eine Boardsuche

http://forum.fachinformatiker.de/showthread.php?t=77237&highlight=robots.txt

Da findest du auch ganz unten einen Link.

EDIT:

"This example "/robots.txt" file specifies that no robots should visit any URL

 starting with "/cyberworld/map/", except the robot called "cybermapper":"


# robots.txt for http://www.example.com/


User-agent: *

Disallow: /cyberworld/map/ # This is an infinite virtual URL space


# Cybermapper knows where to go.

User-agent: cybermapper

Disallow:

Das ist wohl das, was du suchst