Extrem aktive MS-Bots...

[MikeG1980]

Hallo,

ich betreibe in meinem Bekannten- und Freundeskreis ein nettes kleines Forum, und in der letzten Zeit (so 1 bis 2 Monate) bekomme ich vermehrt Besuch von MS-Search-Bots (msnbot/0.11 (+http://search.msn.com/msnbot.htm)). Anfangs war das nicht weiter störend, allerdings sind sie mitlerweile fast konstant in meinem Board, und das mit 3 verschiedenen IP-Adresse, also allein die MS-Bots werden als 3 verschiedene Gäste angezeigt.

Geht das auch noch anderen so, oder haben die sich nur auf mich "eingeschossen". So langsam sollten sie eigentlich auch alles aus dem Forum ausgelesen haben, da nämlich fast alle Foren für Gäste gesperrt sind...

Auch vom Traffic her, sind die kleinen Bots recht "hungrig". 100% kann ich es nicht nachvollziehen, allerdings werden bei meinem Auswertungstool die Top 5-IP-Adressen angezeigt + Traffic und da sind einige der Bot-Adressen vertreten (allerdings nicht alle) und für den laufenden Monat kommen schon mindestens 400 MB-Traffic zusammen. Wenn das bis Ende des Monats so weitergeht, kann locker 1 GB nur an Bot-Traffic zusammenkommen...

Also: haben noch andere Leute dieses "Problem"? Und was würdet Ihr machen (robot.txt anpassen?), oder würdet ihr es einfach so lassen?

Gruß,

Michael

[as-sassin]

Also: haben noch andere Leute dieses "Problem"?

Also bei mir kommt nor der googlebot vorbei - ich habe aber auch kein Forum...

Beim Nachsehen habe ich bemerkt, daß jemand von dnsreseller.de öfter vorbeigeschaut hat?! Wer will denn meine Domäne schon haben ?

Dafür habe ich meinen "Lieblingsbesucher" entdeckt:

Jemand von urologie.mu-luebeck.de :eek: !

Gruß

as-sassin

[MikeG1980]

Andere Bots kommen bei mir auch öfters vorbei. An meinen Domain hatte irgendwie noch nie jemand Interesse (zum Glück)...

Mit dem Problem meine ich nicht, dass mich Bots besuchen, da freue ich mich eher drüber, wenn meine Seiten in den Suchmaschinen gelistet sind, sondern dass diese Bots konstant, und sogar teilweise von 3 verschiedenen IP-Adressen verschiedene Bereiche scannen, und dabei keinen geringen Traffic verursachen...

[as-sassin]

MS-Search-Bots? Die wissen es wahrscheinlich nicht besser...

Kann man vielleicht nur die blocken? ...wer sucht den schon mit msn?

as-sassin

[Honkytonk]

MS-Search-Bots? Die wissen es wahrscheinlich nicht besser...

Kann man vielleicht nur die blocken?

Die meisten arbeiten mit einfachen HTTP-Requests, daher kann mann wohl nicht blocken. Einzige Möglichkeit wäre die IP auf dem Webserver zu sperren, allerdings wäre das meinesachtens vergebliche Liebesmüh, da es wahrscheinlich eher mehr als weniger Adressen werden...

MS-Search-Bots? Die wissen es wahrscheinlich nicht besser...

Niemand

Spaß beiseite Google indiziert Seiten ja auch nicht auf Anfrage, daher wandern die Bots automatisiert durch und speichern die Ergebnisse in DB´s . Man stelle sich vor man schickt bei Google ne Suche ab und der Bot stiefelt dann erstmal durchs kleine weltweite Internet

[root@localhost]

Hi,

möchte der Bot auf die Robots.txt zugreifen?

Wenn ja, kann es ja sein das er sich an die "Regeln" die darin enthalten sind, hält.

Wenn er die robots.txt analysiert und befolgt, kannst du ihn folgendermaßen aussperren.

User-agent: msnbot

Disallow: /

Aber wie gesagt, die Bots müssen sich nicht an die Regeln in der robots.txt halten.

Ciao

r##t

[Format c: -mbr]

Hi,

mal ne Frage, die ich mir erlaub, dazwischen zu schieben :bimei

Was ist die Aufgabe dieser Bots?

[Honkytonk]

Hi,

mal ne Frage, die ich mir erlaub, dazwischen zu schieben :bimei

Was ist die Aufgabe dieser Bots?

Hi,

sie indizieren deine Webseite und speichern sich Infos, die man später per Suchmaschine abfragen kann. z.B. Du hast ne Site für Puppenspielfiguren und der Erstellung von Nylonfäden und die Suchmaschine führt sie später in der Trefferliste für "Puppenspieler Nylon" oder ähnliches...

Gruß,

Honky

[Format c: -mbr]

Ich danke dir

[Code Poet]

Hallo!

Zusammen mit einem Freund betreibe ich auch eine Community, deren Logo meine Signatur ziert. Ich habe da ähnliche Erfahrungen gemacht wie eingangs beschrieben. Die MS-Bots sind bei uns beinahe Dauergäste und oft sind es gleich mehrere auf einmal.

Noch sucht keiner mit MSN, aber mit Longhorn plant MS ja einen Angriff auf Google, weil dann der Explorer wohl schon eine Art Toolbar enthält, wo für jeden Depp unmissverständlich "Internetsuche" drauf steht - dreimal dürft ihr raten, welche Maschine dann wohl standardmäßig oder einzig benutzt wird!

Das bereiten sie jetzt wohl schon vor.

Es stört ja nicht weiter, aber Mike hat das Problem schon angedeutet: Traffic. Bei uns sind keine Uploads erlaubt, aber Nickpages mit Photos. Wenn die sich füllen merkt man auch deutlich den Traffic steigen. Und auch bei mir sind die MS-Bots bisher immer unter den Top-20 in der Traffic-Liste...

[johnhaltonx]

hmm die werden ja wohl halbwegs feste IP's haben, einfach jedesmal wenn einer im log auftaucht die IP sperren und nach ein paar wochen is Ruhe, falls sie sich nicht an die eintragungen in der robots.txt halten

Kann es sein das der msn bot so blöd ist und die dynamisch erzeigten board-seiten jedesmal als neue Seite interpretiert ? und deswegen so oft und lange auf der Seite hängt....?