Robots-Meta-Tag – gezielte Steuerung für Suchmaschinen

Ein Robots-Meta-Tag ist ein unsichtbarer Hinweis im HTML-Code einer Seite, der Crawler von Suchmaschinen darüber informiert, wie sie mit dieser Seite umgehen sollen. Während die robots.txt eher grob für ganze Bereiche einer Website gilt, steuert der Robots-Meta-Tag sehr gezielt, was mit einzelnen Seiten passieren darf.

Typische Anweisungen sind zum Beispiel:

• index – Die Seite darf in den Suchindex aufgenommen werden.
• noindex – Die Seite soll nicht in den Suchergebnissen erscheinen.
• follow – Links auf dieser Seite dürfen verfolgt und gewertet werden.
• nofollow – Links auf dieser Seite sollen ignoriert werden.

Ein Beispiel für einen Robots-Meta-Tag sieht so aus:

<meta name="robots" content="noindex, follow">

Das bedeutet: Die Seite selbst wird nicht in den Suchergebnissen angezeigt, aber die Links darauf werden trotzdem verfolgt und können zur Indexierung anderer Seiten beitragen.

Der Robots-Meta-Tag ist besonders nützlich, wenn man beispielsweise Doppelte Inhalte vermeiden will, interne Suchergebnisse ausblenden möchte oder Landingpages nur für Kampagnen nutzt. In Verbindung mit der Google Search Console kann man zudem prüfen, ob die Anweisungen wie gewünscht befolgt werden.