Vor einiger Zeit wurde ich darauf aufmerksam gemacht, dass einige unserer Seiten bei Google mit dem HTTPS Protokoll gelistet wurden in den Suchergebnissen. Die Links ranken gut bei Google und es ist mir immer noch ein Rätsel wie Google an die Links gekommen ist, ich tippe aber auf eine externe Verlinkung.
Klickt man auf solch einen https:// Link, dann erhält man eine Sicherheitsabfrage, denn wir haben uns den Luxus eines eigenen SSL Zertifikats bisher nicht gegönnt.
Zwar kann der Besucher den Link "Oder Sie können eine Ausnahme hinzufügen…" anklicken und das Zertifikat manuell bestätigen, aber ich schätze mal dass über 90% der Besucher sofort abspringen bei der Fehlermeldung.
Was also tun? SSL / https generell unterbinden? Eher nicht, wo eine SSL Verbindung doch eigentlich ein guter Service ist (für die, die wissen warum sie es nutzen wollen...).
Hilfe schafft da nur die Entfernung der https://... Links aus dem Google Index.
Wer nun denkt "Ha, es gibt doch dieses Entfernungstool in den Google Webmaster Tools", der wird enttäuscht: Google kann nur http:// Links entfernen. Finger weg also von den Webmaster Tools!
Wenn Dein Server Apache verwendet und mod_rewrite aktiviert ist, dann hilft folgender Trick:
- Lege eine eigene robots.txt für https:// Aufrufe an
- Verbiete in dieser robots.txt jeglichen Zugriff durch Suchmaschinen
- Schreibe eine Rewrite Regel in Dein .htaccess die bei SSL (https) Aufrufen der robots.txt auf Deine extra angefertigte robots.txt umleitet
1./2. Eigene Robots.txt für SSL
Lege eine eigene robots.txt an mit dem Dateinamen robots_https.txt und füge folgenden Inhalt ein:
User-agent: *
Disallow: /
3. .htaccess Rewrite Regel hinzufügen
Kopiere Dir Deine .htaccess Datei von Deinem Server und füge folgendes innerhalb der Rewrite Rules ein:
# Verhindere https Seiten in Suchergebnissen
Options +FollowSymlinks
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots.txt$ robots_https.txt
Solltest Du noch keine Rewrite Rules und/oder .htaccess Datei besitzen, dann verwende folgenden Code:
# Verhindere https Seiten in Suchergebnissen
RewriteEngine on
Options +FollowSymlinks
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots.txt$ robots_https.txt
Hoch mit beiden Dateien auf Deinen Server - fertig!
Testen lässt sich das nun, indem Du einmal Deine robots.txt mit http und einem mit https aufrufst, also:
http://deinedomain.de/robots.txt
https://deinedomain.de/robots.txt
Wirst Du bei dem zweiten Link zu Deiner neuen (robots_https.txt) Robots Datei umgeleitet, dann funktioniert alles.
Was aber, wenn ich kein mod_rewrite habe? Auch da kann geholfen werden. Schau einfach mal hier vorbei für eine Anleitung.
Wenn Du alles korrekt durchgeführt hast, dann heisst es "Abwarten und Tee trinken" bis Google die Ergebnisse entfernt und hoffentlich durch reguläre http:// Links ersetzt hat.
Viel Erfolg!
- Logbuch von Francis Drake
- Neuen Kommentar schreiben
- 7 Punkte
Comments
Wunderbar, nachdem hier nun
Wunderbar, nachdem hier nun keine Fragen bzw. Diskussionen auftauchen, oute ich mich mal als Nichtversteher ;-)
Nachdem bei mir nun schon öfter mal eben solche Hinweise bezüglich infopirat unter: blockierte Urls im Adsense-Konto aufgetaucht sind, denk ich mir doch, dass es wenig hilft, die in meiner robots.txt bzw. .htaccess zu sperren. Oder bin ich da grad auf der falschen Spur?
Ok, meist verschwinden die Mitteilungen nach einer Weile wohl von selber wieder.
Aber grad aktuell hab ich eine, die davor ein http:// copyscape. com trägt und dann die https-Variante. Zufällig weiss ich nun aber ganz genau, das selbige Seite mit Sicherheit nicht bei copyscape angemeldet ist.
Was also nun tun? Dir die entsprechenden Seite mitteilen oder abwarten, bis google das selber merkt?
Oder bekommst du ebenfalls diese Meldungen?
Das G*** sich ganz wild urls zusammenstrickt hab ich bei meiner Seite auch schon erfahren dürfen. Allerdings sind die nicht von selber verschwunden, ich musste sie ganz brav per robots.txt aussperren.
grüssle Mystery
Adsense: Blockierte URL
Hallo Mystery,
bei den "Blockierten URLs" in Adsense handelt es sich um URLs die in der robots.txt für Suchmaschinen gesperrt sind.
Dies ist absolut korrekt so.
Du kannst dort sehen, dass wir z.B. sämtliche URLs sperren von Seiten auf denen Inhalte eingepflegt werden, also z.B. Kommentar schreiben, Bookmark hinzufügen etc. Auf diesen Seiten wird Dir als eingeloggter Benutzer eh keine Werbung angezeigt, der Aufruf der URLs ist aber auch durch anonyme Besucher möglich, siehe z.B. Kommentar verfassen.
Du kannst Dich also beruhigen und musst nichts unternehmen. :)
dann ist´s ja gut
Hallo Francis,
es ging mir bei meiner Frage auch gar nicht um die Werbung, die dort eingeblendet wird oder nicht. Sondern um diese seltsamen url-Konstrukte: 3x www in der url (+ https), die natürlich so auch nicht aufrufbar sind.
Reine Neugierde also ;-))
Aber wenn Du sagst, ich muss nichts unternehmen, bin ich beruhigt, werde aber trotzdem staunend das Ganze weiter beobachten ;-)
grüssle Mystery