X-Robots-Tag
Definition
X-Robots-Tag übermittelt Suchmaschinen Anweisungen zum Umgang mit Webseiten und anderen Ressourcen.
Ein HTTP-Antwortheader, der Suchmaschinen Anweisungen wie noindex oder noarchive für beliebige Ressourcen übermittelt.
Einfach erklärt
Der Server gibt Suchmaschinen Hinweise mit, etwa dass eine Datei nicht in Suchergebnissen erscheinen soll.
Warum das im Alltag wichtig ist
Der Begriff ist relevant, um digitale Sichtbarkeit, qualifizierten Traffic und die Auffindbarkeit von Inhalten systematisch zu verbessern.
Beispiel aus dem Mittelstand
Ein Betrieb kennzeichnet erzeugte PDF-Dubletten als noindex, lässt sie aber für berechtigte Crawler erreichbar.
Grenzen und Fallstricke
- robots.txt verhindert Abruf und damit das Lesen des Headers; Suchmaschinen behandeln Direktiven als Richtlinie, nicht Zugriffsschutz.
Entstehung & Geschichte
Suchanbieter führten den Header als HTTP-Entsprechung zu Robots-Meta-Tags ein.
Anwendung im Mittelstand
- Mögliche Anwendung: Ein Betrieb kennzeichnet erzeugte PDF-Dubletten als noindex, lässt sie aber für berechtigte Crawler erreichbar.
Häufige Fragen
Was bedeutet X-Robots-Tag?
Ein HTTP-Antwortheader, der Suchmaschinen Anweisungen wie noindex oder noarchive für beliebige Ressourcen übermittelt. Worauf sollte man achten? robots.txt verhindert Abruf und damit das Lesen des Headers; Suchmaschinen behandeln Direktiven als Richtlinie, nicht Zugriffsschutz.
Quellen
- Robots meta tag and X-Robots-Tag · Google Search Central, Robots meta tag and X-Robots-Tag
Quelle geprüft am 10.10.2026. Redaktionelle Anwendungsbeispiele sind hypothetisch; kein Nachweis realer Kundenergebnisse.
Redaktionell geprüft am: