c++.de :: Unerwünschte Bots/Spider/Crawler

robot Mitglied 17:25:01 27.05.2012 Titel:

Hallo,

ich hab neulich mal in das Logfile meiner Webseite rein geschaut und festgestellt, dass da sehr viel Besuch von Bots kommt, deren Absicht mir nicht klar ist.

Da es realtiv mühsam ist alle Bots einzeln zu recherchieren suche ich nun eine zuverlässige Liste die mir Auskunft gibt. Beim Googlen bin ich da z.B. auf http://www.bot-trap.de gestoßen. Da muss man sich aber erst anmelden und ich weiß auch nicht, ob die vertrauenswürdig sind.

Wie geht Ihr gegen unerwünschte Bots vor und welche Methode nutzt Ihr, um sie auszusperren (o. ignorieren)?

BTW: Wisst Ihr zufällig, was der Sistrix-Bot oder der Turnitin-Bot für Insekten sind? Ein Blick auf die Herrsteller-Seiten macht mir einen unsympathischen Eindruck.

Shade Of Mine Moderator 18:26:10 27.05.2012 Titel:

Erzeugen sie zuviel Traffic? Dann IP sperren.
Ansonsten einfach ignorieren.

geeky Mitglied 21:01:49 28.05.2012 Titel:

Halten die sich nicht an eine robots.txt oder hast du gar keine?

robot Mitglied 23:51:00 30.05.2012 Titel:

@shade: Zu viel Traffic erzeugen sie im Moment nocht nicht. Aber ich möchte nicht, dass meine Seite automatisch von Kriechern durchwühlt wird, von denen ich nicht weiß zu welchem Zweck bzw. für wen sie das tun.

@geeky: Doch, die robots.txt gibts, hab da aber keine user-agents ausgesperrt, da eben oft grade die unerwünschten Kriecher sich nicht dran halten.

Da ich ohnehin überall PHP-Seiten verwende, werde ich wohl einfach eine Blacklist von user-agents erstellen und denen eine leere oder Dummy Seite präsentieren. Klar man das mit einen Fake-Agent-String umgehen, aber es ist schonmal ein erster Schritt.

Christoph Moderator 23:59:40 30.05.2012 Titel:

robot schrieb:

@shade: Zu viel Traffic erzeugen sie im Moment nocht nicht. Aber ich möchte nicht, dass meine Seite automatisch von Kriechern durchwühlt wird, von denen ich nicht weiß zu welchem Zweck bzw. für wen sie das tun.

Kannst du eh nicht verhindern, insofern ist Shades Rat genau der richtige: Wenn sie keine spürbare Last verursachen, sind sie deine Zeit nicht wert. Sie schaden dir ja schließlich nicht.

robot schrieb:

@geeky: Doch, die robots.txt gibts, hab da aber keine user-agents ausgesperrt, da eben oft grade die unerwünschten Kriecher sich nicht dran halten.

Woher weißt du das, wenn du keine User-Agents ausgesperrt hast? Bots, die robots.txt ignorieren, werden wohl kaum einen konstanten User-Agent-String senden, damit du sie dann einfach mit deinem PHP-Trick aussperren kannst.

Unregistrierter

er kann ja einfach alle unbekannten usr agents sperren.
Klar kann er somit unerwünscht irgendwelche exoten aussperren aber die idee ist, wie andere schon sagten, ja sowieso nicht geeignet.

RonnieIshorst Mitglied 12:42:34 10.06.2012 Titel:

Einfach die IP´s sperren. Mit der htacces da braucht es am wenigsten Rechenzeit:

HTML:
order allow,deny deny from 192.168.2.100 allow from all