Kommt bei euch auch ?fters mal der MSNbot zum einkaufen vorbei (bis zu checkout_success)? Bei mir hat er echt irrsinnig viel Traffic verursacht und jetzt habe ich endlich herausgefunden warum: da er nicht in der spider.txt steht, spidert auch sessions!
Sucht mal auf
http://search.msn.de nach site:meineseite.de +xtcsid
Ich habe nun in der includes/spiders.txt einfach
msnbot hinzugef?gt und hoffe, dass sich das Problem damit erledigt hat. (wie ich die Seiten aus MSN allerdings wieder raus kriege weiss ich auch noch nicht... :cry: )
Ganz nebenbei hab ich noch folgenden n?tzlichen Eintrag f?r die robots.txt entdeckt:
Zitat:
User-agent: msnbot
Crawl-delay: 120
|
Damit wartet der Bot 2 min zwischen jedem Zugriff... Denn ich habe das Gef?hl, bei mir war der Bot so eifrig, dass er so manches Mal meinen Server lahmgelegt hat :144:
29.04.2005, 12:45
Linear-Darstellung
