3. Juni 200520 j Hallo Leute, ich habe folgende Robots.txt programmiert: User-agent: EmailCollector Disallow: / User-agent: * Allow: / Kann ich das so machen muss ich jeden einzelnen Spider erwähnen, da ich ja auch den EmailCollector ausschließe, jedoch unten ALLEN alles erlaube. Wiederspricht sich hier was? Wenn ja bitte um Korrektur :-)
13. Juni 200520 j ich weiß nicht ob das geht, aber hat die robots.txt sowas wie allow, deny reihenfolgen? also ich kenn halt von der apache-conf das ich mit dieser reihenfolge festlegen kann was mehr zählt.
13. Juni 200520 j 1. es gibt kein Allow in der robots.txt 2. gibt es eine Boardsuche http://forum.fachinformatiker.de/showthread.php?t=77237&highlight=robots.txt Da findest du auch ganz unten einen Link. EDIT: "This example "/robots.txt" file specifies that no robots should visit any URL starting with "/cyberworld/map/", except the robot called "cybermapper":" # robots.txt for http://www.example.com/ User-agent: * Disallow: /cyberworld/map/ # This is an infinite virtual URL space # Cybermapper knows where to go. User-agent: cybermapper Disallow: Das ist wohl das, was du suchst
Archiv
Dieses Thema wurde archiviert und kann nicht mehr beantwortet werden.