Zum Inhalt springen

Extrem aktive MS-Bots...


Empfohlene Beiträge

Hallo,

ich betreibe in meinem Bekannten- und Freundeskreis ein nettes kleines Forum, und in der letzten Zeit (so 1 bis 2 Monate) bekomme ich vermehrt Besuch von MS-Search-Bots (msnbot/0.11 (+http://search.msn.com/msnbot.htm)). Anfangs war das nicht weiter störend, allerdings sind sie mitlerweile fast konstant in meinem Board, und das mit 3 verschiedenen IP-Adresse, also allein die MS-Bots werden als 3 verschiedene Gäste angezeigt.

Geht das auch noch anderen so, oder haben die sich nur auf mich "eingeschossen". So langsam sollten sie eigentlich auch alles aus dem Forum ausgelesen haben, da nämlich fast alle Foren für Gäste gesperrt sind...

Auch vom Traffic her, sind die kleinen Bots recht "hungrig". 100% kann ich es nicht nachvollziehen, allerdings werden bei meinem Auswertungstool die Top 5-IP-Adressen angezeigt + Traffic und da sind einige der Bot-Adressen vertreten (allerdings nicht alle) und für den laufenden Monat kommen schon mindestens 400 MB-Traffic zusammen. Wenn das bis Ende des Monats so weitergeht, kann locker 1 GB nur an Bot-Traffic zusammenkommen...

Also: haben noch andere Leute dieses "Problem"? Und was würdet Ihr machen (robot.txt anpassen?), oder würdet ihr es einfach so lassen?

Gruß,

Michael

Link zu diesem Kommentar
Auf anderen Seiten teilen

Also: haben noch andere Leute dieses "Problem"?

Also bei mir kommt nor der googlebot vorbei :) - ich habe aber auch kein Forum...

Beim Nachsehen habe ich bemerkt, daß jemand von dnsreseller.de öfter vorbeigeschaut hat?! Wer will denn meine Domäne schon haben ;) ?

Dafür habe ich meinen "Lieblingsbesucher" entdeckt:

Jemand von urologie.mu-luebeck.de :D :eek: !

Gruß

as-sassin

Link zu diesem Kommentar
Auf anderen Seiten teilen

Andere Bots kommen bei mir auch öfters vorbei. An meinen Domain hatte irgendwie noch nie jemand Interesse (zum Glück)...

Mit dem Problem meine ich nicht, dass mich Bots besuchen, da freue ich mich eher drüber, wenn meine Seiten in den Suchmaschinen gelistet sind, sondern dass diese Bots konstant, und sogar teilweise von 3 verschiedenen IP-Adressen verschiedene Bereiche scannen, und dabei keinen geringen Traffic verursachen...

Link zu diesem Kommentar
Auf anderen Seiten teilen

MS-Search-Bots? Die wissen es wahrscheinlich nicht besser... ;)

Kann man vielleicht nur die blocken?

Die meisten arbeiten mit einfachen HTTP-Requests, daher kann mann wohl nicht blocken. Einzige Möglichkeit wäre die IP auf dem Webserver zu sperren, allerdings wäre das meinesachtens vergebliche Liebesmüh, da es wahrscheinlich eher mehr als weniger Adressen werden...

MS-Search-Bots? Die wissen es wahrscheinlich nicht besser... ;)

Niemand :D

Spaß beiseite Google indiziert Seiten ja auch nicht auf Anfrage, daher wandern die Bots automatisiert durch und speichern die Ergebnisse in DB´s . Man stelle sich vor man schickt bei Google ne Suche ab und der Bot stiefelt dann erstmal durchs kleine weltweite Internet ;)

Link zu diesem Kommentar
Auf anderen Seiten teilen

Hi,

möchte der Bot auf die Robots.txt zugreifen?

Wenn ja, kann es ja sein das er sich an die "Regeln" die darin enthalten sind, hält.

Wenn er die robots.txt analysiert und befolgt, kannst du ihn folgendermaßen aussperren.

User-agent: msnbot

Disallow: /

Aber wie gesagt, die Bots müssen sich nicht an die Regeln in der robots.txt halten.

Ciao

r##t

Link zu diesem Kommentar
Auf anderen Seiten teilen

Hi,

mal ne Frage, die ich mir erlaub, dazwischen zu schieben :bimei

Was ist die Aufgabe dieser Bots?

Hi,

sie indizieren deine Webseite und speichern sich Infos, die man später per Suchmaschine abfragen kann. z.B. Du hast ne Site für Puppenspielfiguren und der Erstellung von Nylonfäden und die Suchmaschine führt sie später in der Trefferliste für "Puppenspieler Nylon" oder ähnliches... ;)

Gruß,

Honky

Link zu diesem Kommentar
Auf anderen Seiten teilen

  • 1 Monat später...

Hallo!

Zusammen mit einem Freund betreibe ich auch eine Community, deren Logo meine Signatur ziert. Ich habe da ähnliche Erfahrungen gemacht wie eingangs beschrieben. Die MS-Bots sind bei uns beinahe Dauergäste und oft sind es gleich mehrere auf einmal.

Noch sucht keiner mit MSN, aber mit Longhorn plant MS ja einen Angriff auf Google, weil dann der Explorer wohl schon eine Art Toolbar enthält, wo für jeden Depp unmissverständlich "Internetsuche" drauf steht - dreimal dürft ihr raten, welche Maschine dann wohl standardmäßig oder einzig benutzt wird!

Das bereiten sie jetzt wohl schon vor.

Es stört ja nicht weiter, aber Mike hat das Problem schon angedeutet: Traffic. Bei uns sind keine Uploads erlaubt, aber Nickpages mit Photos. Wenn die sich füllen merkt man auch deutlich den Traffic steigen. Und auch bei mir sind die MS-Bots bisher immer unter den Top-20 in der Traffic-Liste...

Link zu diesem Kommentar
Auf anderen Seiten teilen

hmm die werden ja wohl halbwegs feste IP's haben, einfach jedesmal wenn einer im log auftaucht die IP sperren und nach ein paar wochen is Ruhe, falls sie sich nicht an die eintragungen in der robots.txt halten

Kann es sein das der msn bot so blöd ist und die dynamisch erzeigten board-seiten jedesmal als neue Seite interpretiert ? und deswegen so oft und lange auf der Seite hängt....?

Link zu diesem Kommentar
Auf anderen Seiten teilen

Dein Kommentar

Du kannst jetzt schreiben und Dich später registrieren. Wenn Du ein Konto hast, melde Dich jetzt an, um unter Deinem Benutzernamen zu schreiben.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung wiederherstellen

  Nur 75 Emojis sind erlaubt.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

Fachinformatiker.de, 2024 by SE Internet Services

fidelogo_small.png

Schicke uns eine Nachricht!

Fachinformatiker.de ist die größte IT-Community
rund um Ausbildung, Job, Weiterbildung für IT-Fachkräfte.

Fachinformatiker.de App

Download on the App Store
Get it on Google Play

Kontakt

Hier werben?
Oder sende eine E-Mail an

Social media u. feeds

Jobboard für Fachinformatiker und IT-Fachkräfte

×
×
  • Neu erstellen...