Seit einigen Wochen "besucht" ein Bot ständig einige von mir betreute Seiten und erzeugt unnötigen Traffic.
Die Zahlen ändern sich jedesmal aber z.B. sieht der Zugriff folgendermaßen aus: bl2sch1082012.phx.gbl


Ich würde ihn gerne per .htaccess aussperren und habe dazu folgenes eingefügt:

order allow,deny
allow from all
deny from .gbl

trotzdem ist der Zugriff noch möglich..

In Antwort auf:

---

Die ungültige Domain "phx.gbl" findet man bei Microsoft-Servern
im Reverse DNS. Die Domain taucht auch in Message-Ids bei Mail
auf, auffällig häufig in Zusammenhang mit Hotmail. Die Domain tritt
verstärkt auf seit dem Boom von Betaversionen von Windows Vista.

Vor einiger Zeit bin ich bei Durchsicht meiner Spam-Logfiles
bereits über die Domain gestolpert, habe sie aber zuerst für
eine Fake-Domain gehalten, die von einem Windows-Virus beim
Mailversand verwendet wird. Allerdings ist mir dann auch
sinnvolle Mail mit dieser Domain begegnet, so dass offenbar
eine reguläre Software aus dem Microsoft-Umfeld diese Domain
verwendet.

> Ist dies eine seriöse Domain oder hat das etwas mit Spammern zu tun?

Die Domain wird offensichtlich missbräuchlich verwendet. Über deren
genaue Bedeutung haben auch andere schon erfolglos gerätselt.
(http://artific.com/articles/2005/12/27/a_practically_u/)
Ein Zusammenhang mit Microsoft liegt allerdings klar auf der Hand.

Die Domain taucht besonders häufig in Spam auf, aber anscheinend
kommt das nur daher, weil manche Spam-Bots diverse Header nicht
selbst setzen, sondern die Defaults der Umgebung akzeptieren,
in der sie laufen.

Die Verwendung im Web kann möglicherweise durch Proxies oder
Suchmaschinen begünstigt werden.

---

In Antwort auf:

---

Weitere Funktionen

Weitere Funktionen, die häufig zum Einsatz kommen, sind IP-Sperren oder auch Weiterleitungen.
# Beispiel für IP-Sperren
Order deny,allow
Allow from all
Deny from http://www.google.de 127.0.0.1

Um bei diesem Beispiel auch mit Hostnamen anstatt IP-Adressen arbeiten zu können, muss unter Umständen noch die Option:

HostnameLookups On

vorangestellt werden, damit der Webserver auch die IP-Adresse auflösen kann.

---

Wenn ich "HostnameLookups On" einfüge ist die ganze Seite nicht mehr erreichbar..

Frag mich was der Bot will? MSN in der Suchstatistik nach vorne bringen? Jeder Ref kommt nämlich von der MSN Suche aber mit Suchbegriffen, die es sonst kaum gibt..