robots.txt Disallow: popup_image.php

[allstarmusic]

Hallo,

google listet trotz der robots.txt und dem Eintrag "Disallow: popup_image.php" groesstenteils sämtliche image popups. Scheinbar sogar mehr davon als die eigentlichen prudukt info seiten. Weiss jemand einen Rat, wie ich das unterbinden kann?

User-agent: steht nach wie vor auf "*"

gruß,

DiNO

[osr]

Versuchs mal mit 'Disallow: /popup_image.php'
Die Robots.txt kannste so komlett in die Tonne hauen.
Angeblich ist das schon seit Ewigkeiten auch dem Support bekannt.

[xt:mzanier]

das problem liegt aber eher darin, das sich fast keine suchmaschine an die robots.txt haltet.

[John Steed]

das problem liegt aber eher darin, das sich fast keine suchmaschine an die robots.txt haltet.

Google im Allgemeinen schon - nur ist da bei manchen Bots von Google die klitzekleine Einschränkung, dass sie gerne "persönlich" angesprochen werden wollen.

user-agent: * wird also von einigen Googlebots einfach ignoriert

user-agent: Googlebot sollte Google berücksichtigen!

Siehe Hilfe für Webmaster - Wie blockiere ich Googlebot?

...was mich am Gesamtkonzept der robots.txt viel eher stört, ist, dass ein "böser" Bot die ja auch lesen und dann munter alle Disallow-Einträge abklappern kann...

Cheers,
IaN

[osr]

Wir haben es vor ein paar Tagen getestet.
Es geht auch nur mit user-agent: *.
Das Geheimnis liegt im Slash vor den Dateinamen und Verzeichnissen.
Wir haben zusätzlich aber auch den Googlebot als Eintrag hinzugefügt.
Es empfiehlt sich auch Content Texte wie z.B. AGB zu sperren.

Zitat von osr

Wir haben es vor ein paar Tagen getestet.
Es geht auch nur mit user-agent: *.
Das Geheimnis liegt im Slash vor den Dateinamen und Verzeichnissen.

????

Du meinst, jedes Dissallow muss so aussehen?
Dissallow: /datei.php
Dissallow: /Verzeichnis/

Zitat von osr

Wir haben zusätzlich aber auch den Googlebot als Eintrag hinzugefügt.
Es empfiehlt sich auch Content Texte wie z.B. AGB zu sperren.

Sind gesperrt durch Dissallow: media/ aus der Standard-Robots.txt

tuvalu

[osr]

Jep.
Der Slash ist 'Norm'.
Siehe z.B. hier.

Das mit dem Media-Verzeichnis muß nicht unbedingt funktionieren,
da Content-Inhalte z.B. über 'shop_content.php/coID/1' erfolgen.
Und 'shop_content.php' liegt im root.
Ebenso der wird die popup_content.php indexiert.

Wenn du nicht zu viele Produkte hast solltest du das mal mit 'site:www.deineseite.de'
in der Google-Suchmaske testen.

Da hab ich z.B. gerade folgendes im Google-Index gefunden:
Versandkosten

Zitat von osr

Jep.
Der Slash ist 'Norm'.
Siehe z.B. hier.

Ups.

Ist mir unklar, weshalb xt:C dann eine nichtkonforme robots.txt hat.

Zitat von osr

Das mit dem Media-Verzeichnis muß nicht unbedingt funktionieren,
da Content-Inhalte z.B. über 'shop_content.php/coID/1' erfolgen.
Und 'shop_content.php' liegt im root.
Ebenso der wird die popup_content.php indexiert.

Guter Einwand.

Zitat von osr

Wenn du nicht zu viele Produkte hast solltest du das mal mit 'site:www.deineseite.de'
in der Google-Suchmaske testen.

Da hab ich z.B. gerade folgendes im Google-Index gefunden:
Versandkosten

Jep, da sind bereits gut 1700 Einträge, unter anderem auch die Popup-Bilder, die ja gesperrt sein sollten.

Danke für den Hinweis.

Tuvalu