Robots.txt Tricks für WordPress-Blogs

Robots.txt Tricks für WordPress-Blogs

Mittlerweile existieren für WordPress zahlreiche Plugins, die sich des Problems „Duplicate Content“ annehmen. Google mag’s nämlich ganz und gar nicht, wenn ein- und dieselben Inhalte unter der gleichen Adresse abzurufen sind und reagiert mit Abwertung.

Dass der duplicate content in den letzten Monaten gesteigerte Bedeutung erlangte, hat nicht zuletzt mit der steigenden Verbreitung von Splogs, also Spam-Blogs, zu tun*. Man muss jedenfalls eine Menge Vorkehrungen treffen, damit unter der eigenen Domain jeder Artikel nur einmal aufscheint. Duplicate Content Cure oder Meta Robots lösen die gröbsten Troubles (ich verwende beide Erweiterungen), effektivere Resultate erreicht man mit der direkten Aussperren von Bots in der robots.txt: diese Datei liegt gemeinhin im Rootverzeichnis und enthält Anweisungen für Crawler – und die Big Three (Google, MS, Yahoo) halten sich auch dran.

Word of Warning: Mit Manipulationen an der robots.txt-Datei kann man sich eine gut funktionierende SERP-Struktur im Nu abfucken. Außerdem spielt die Frage, ob man z.B. in der Tag- und Category-Ansicht Exzerpte verwendet eine beträchtliche Rolle – ebenso wie die Entscheidung, welche Einzelpages gut indiziert werden sollen. An Impressum und Kontaktformular möchte ich z.B. lieber keinen Linkjuice verschwenden. In solchen Fällen machen interne nofollow-Links hochgradig Sinn, aber das ist eine andere SEO-Geschichte und soll ein andermal erzählt werden…

Word of even more Warning: Die nachfolgende angegebenen Tipps beziehen sich auf *meine* Permalinkstruktur. Wer keine sprechenden Permalinks verwendet oder stark abweichende Einstellungen, kann mit den folgenden php-Wildcards Crawlern den Zugriff auf Beiträge komplett verunmöglichen. Also in jedem Fall ein Backup der robots-Datei anlegen und testen, testen, testen! Sehr hilfreich dabei: das kürzlich erwähnte Crawler-Tracker Plugin.

Exclusions im robots.txt

Einige reguläre Ausdrücke sind im robots.txt erlaubt, $ steht in Regex-Terminologie dabei für das Ende des Dateinamens. Die Syntax „.php$“ erfasst also alle Dateien, die auf *.php enden. Man kann damit zum Beispiel den Crawler-Zugriff auf alle pdfs, exe-Dateien und Bilder sperren:

Disallow: /*.pdf$
Disallow: /*.jpeg$
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.exe$

Daraus ergeben sich zahlreiche weitere Möglichkeiten, die man ja nach eigener Präferenz frei kombinieren kann:

Disallow: /*? – alle URLs mit Fragezeichen drin werden geblockt. Kann natürlich nur dann verwendet werden, wenn in den Standard-URLs kein Fragezeichen vorkommt.

Disallow: /*.php$ – blockiert alle php-Files
Disallow: /*.inc$ – verhindert den Zugriff auf include-Dateien.
Disallow: /*.css$ – verbirgt Stylesheet-Dateien (falls mehr als eine in Verwendung ist.)
Disallow: */feed/ – verhindert das Einlesen des Feeds.
Disallow: */trackback/ – verhindert das Indizieren der Trackback-URLs.
Disallow: /tag/ – Tag-Pages ausschließen
Disallow: /category/ – Kategorie-Seiten ausschließen.
Disallow: /2006/ – Disallow: /2007/ – Disallow: /2008/ – Zugriff auf Jahresarchive verbieten

Möchte man nun aus irgendwelchen Gründen den Zugriff auf eine der oben ausgeschlossenen Seite explizit erlauben, kommt dazu folgende Syntax zum Einsatz:

Allow: /category/meineseite.php – erlaubt den Zugriff auf die angegebene Adresse, auch wenn /category/ als Pfad gesperrt ist.

Sollte man nun besser die oben angegebenen Plugins oder die robots.txt-Methode verwenden? Um die Unterschiede zu verstehen, muss man ein weniger tiefer in SEO-Welten abtauchen: während die beschriebenen Plugins die von Google vorgesehene Syntax noindex bzw. nofollow in den Header der betreffenden Dateien einfügen, sorgt die robots.txt-Variante dafür, dass überhaupt nie auf die betreffenden Seiten zugegriffen wird. Ob die beiden Varianten in der Praxis einen Unterschied machen, darüber streiten derzeit die SEO-Experten – siehe auch die Diskussion zum betreffenden Eintrag bei Shoemoney.

Außerdem ist davon auszugehen, dass Google mittlerweile WP-Installationen erkennt und selbst Vorkehrungen gegen Duplicate Content trifft – aber diese Gleichung enthält eine Menge Variablen, und nachteilig ist’s ganz gewiss nicht, wenn man sich als Seitenbetreiber selbst drum kümmert, dass der Crawler ausschließlich unique content serviert bekommt.


* Viele Scraper stehlen einfach automatisiert Inhalte von anderen Blogs und schicken dann auch noch Trackbacks. Die Beiträge beginnen immer mit „xy wrote an interesting article today:“ Dürfte wohl irgendeine Scraper-Software from Hell sein. Beruhigend zu wissen ist nur, dass solche „Strategien“ langfristig niemals aufgehen.

0 Kommentare
  1. Achim Meurer
    Achim Meurer sagte:

    Hi,

    mal ne Frage zum Double-Content-Plugin: Wenn ich dadurch meine Kategorie-Seiten ausschließe, werden diese also nicht mehr indiziert. Ok, habe verstanden.

    Doch wenn ich meine Stats anschaue, kommen doch immer wieder Leute zu mir, die über Google auf eine Kategorie-Seite gestoßen sind, weil genau die Kategorie so heißt wie das Suchwort.

    Ist das also dann nicht kontraproduktiv oder denke ich da gerade total falsch?

    Grüße aus Kärnten
    Achim

    • ritchie
      ritchie sagte:

      Hi Achim,

      nein, du denkst da überhaupt nicht falsch – das hängt ganz stark davon ab, was du mit deinen Kategorien-Seiten so machst; wenn die gut funktionierten mit den betreffenden keywords, würd ich sie keinesfalls ausschließen… wenn sie wenig Traffic haben, dagegen schon – ich hab hier auf ds die Kat-Seiten auch nur teilweise ausgeschlossen.

  2. Stefan
    Stefan sagte:

    Du schreibst: „Einige reguläre Ausdrücke sind im robots.txt erlaubt“
    Das ist korrekt, wenn du dich nur auf Google beziehst. In der eigentlichen, inzwischen zwölf Jahren alten „Definition“ der robots.txt gibt es aber keine regulären Ausdrücke, und in der Tat interpretieren andere Suchmaschinen das nicht als regulären Ausdruck, sondern als normalen Text.

    • ritchie
      ritchie sagte:

      Splogs halten sich ganz sicher nicht dran! Dagegen ist die beschriebene Methode recht sinnlos. Man bräuchte analog wie beim Spam-Mails eine Datenbank von untrusted IPs, um Splogs wirklich gut filtern zu können… in der Praxis aber sehr schwer umsetzbar, denk ich.

  3. david
    david sagte:

    Wie sieht es eigentlich mit der Verwendung von mehreren domains aus? Ich meine: Ich mache eine 301-Umleitung von einer weiteren Domain auf meine Startseite. Wirkt sich das negativ auf mein Ranking bei Google aus?

    Danke und LG
    David

      • david
        david sagte:

        Danke für die prompte Antwort! Eine letzte Frage hätt ich noch: Wie siehts aus, wenn ich im A-Record der weiteren Domain, auf die Hauptdomain verweise? Wird das von Google als Täuschung gewertet?

        Danke und LG
        David

        • ritchie
          ritchie sagte:

          Würd ich nicht machen… schon allein aus reverse-lookup gründen, wenn du die zweite mal für einen smtp verwenden willst… Weiterleitung per htacess ist genauso flexibel und schneller änderbar (ohne DNS Update).

  4. Bichareh
    Bichareh sagte:

    Hallo, netter Artikel…eine Frage…ich habe meine Robots.txt jetzt angepasst, so das ich nur Artikel indiziert haben will. Ist die Robots so korrekt, oder fehlt noch was, oder hab ich jetzt damit erreicht das mich google kickt? xD

    User-agent: *
    Disallow: */trackback/
    Disallow: /wp-admin/
    Disallow: /feed/
    Disallow: /archives/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /category/
    Disallow: /2008/
    Disallow: /2007/
    Disallow: /author/
    Disallow: /comments/
    Disallow: /comments/feed/
    Disallow: /feed/atom/
    Disallow: /feed/rss/

    Danke!

  5. ritchie
    ritchie sagte:

    Es kommt drauf an, was du erreichen willst – ich würd grad die Tag-Pages und Archive niemals ausschließen, auch die Comments nicht. Sinnvoller ist’s, die Seiten mit „noindex,follow“ im Header zu kennzeichnen; da gibt’s eh schon einige Duplicate-Content Plugins, die genau das machen.

Hinterlasse einen Kommentar

Schreibe einen Kommentar