robots.txt erklärt — Crawler, KI-Bots, Sitemap

Direkte Antwort

robots.txt: Die robots.txt ist die erste Datei, die ein seriöser Crawler bei deiner Domain abruft: ein schlichter Text unter /robots.txt, der festlegt, welche Bereiche ein bestimmter Bot besuchen darf. Sie steuert das Crawlen, nicht die Indexierung und schon gar nicht die Sicherheit. Praktisch heißt das: Lass sie existieren, nenne die Sitemap und sperre nur, was wirklich nicht in Such- und KI-Antworten gehört.

Wichtigste Punkte

Sie liegt immer im Root (/robots.txt) und gilt pro Host, Protokoll und Port.
Disallow blockiert das Abrufen, nicht das Indexieren — dafür gibt es noindex oder Zugriffsschutz.
Ein 404 heißt „alles erlaubt“, ein dauerhafter 5xx kann das Crawlen der ganzen Domain ausbremsen.
KI-Crawler werden per User-Agent angesprochen; so erreichst du Crawlability für Suche und Antwortsysteme gleichzeitig.

— Steve Baka

Aktualisiert: 6. Oktober 2026 · Autor: Steve Baka

Was ist robots.txt?

Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, etwa https://beispiel.de/robots.txt. Sie geht auf das Robots Exclusion Protocol von 1994 zurück und wurde 2022 als RFC 9309 offiziell standardisiert. Der Aufbau ist bewusst simpel: Eine Gruppe beginnt mit User-agent: und nennt den Bot, darunter stehen Allow:- und Disallow:-Zeilen mit Pfaden. User-agent: * gilt für alle Crawler, die keine eigene Gruppe haben.

Wichtig ist, was die Datei nicht ist. Sie ist kein Passwortschutz: Wer sie ignoriert, wird technisch nicht aufgehalten, und die Datei ist öffentlich lesbar — wer dort „geheime“ Pfade einträgt, verrät sie. Sie ist auch kein Entfernungswerkzeug für Suchergebnisse. Ist eine URL gesperrt, aber von außen verlinkt, kann sie ohne Beschreibung weiter im Index auftauchen, weil der Crawler den Inhalt nie sieht und deshalb auch ein noindex nicht lesen kann.

Eine zweite Aufgabe hat sich etabliert: die Zeile Sitemap: https://beispiel.de/sitemap.xml. Sie weist Crawler auf deine Sitemap hin und ist von jedem Host aus erreichbar.

Wie lesen Crawler die robots.txt?

Bevor ein Bot andere URLs deiner Domain abruft, holt er die robots.txt. Er sucht die Gruppe mit dem passendsten User-Agent und wendet die spezifischste passende Regel an. Der Statuscode der Datei entscheidet über das Verhalten:

200: Regeln gelten wie geschrieben. Google verarbeitet laut Dokumentation maximal 500 KiB.
404 oder andere 4xx: Es gibt keine Einschränkungen; alles darf gecrawlt werden.
5xx oder Timeout: Crawler behandeln das vorsichtig und pausieren zeitweise, bei Google im Zweifel für die gesamte Domain.

Genau deshalb ist eine „vergessene“ oder kaputte robots.txt kein Schönheitsfehler. Nach einer Migration fällt sie oft weg oder wird durch eine Staging-Variante mit Disallow: / ersetzt — und die gesamte Webseite verschwindet nach und nach aus der Suche.

Warum ist robots.txt für KI-Sichtbarkeit relevant?

Neben Googlebot und Bingbot gibt es inzwischen eigene Crawler der KI-Anbieter, etwa GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot und das Steuer-Token Google-Extended für Googles KI-Produkte. Viele davon trennen Suche und Training: Ein Antwort-Crawler kann erlaubt sein, während Trainingsdaten-Crawler gesperrt bleiben. Wer pauschal alle unbekannten Bots aussperrt, verschwindet auch aus den Quellenlisten von Antwortsystemen — und kann dort nie zitiert werden, siehe Zitation.

Zusätzlich hat Cloudflare 2025 die Direktive Content-Signal vorgeschlagen. Sie ergänzt die Zugriffsregeln um Nutzungspräferenzen für search, ai-input und ai-train. Sie ist noch kein universeller Standard, signalisiert aber klar deine Absicht. Wie solche Signale in einen größeren Rahmen passen, zeigt auch der Agent-Ready-Score.

Wie setzt Modern Stack robots.txt ein?

Jede Webseite von Modern Stack liefert eine robots.txt aus, die drei Dinge tut: Sie erlaubt Such- und Antwort-Crawler ausdrücklich, nennt die Sitemap und sperrt nur Bereiche ohne öffentlichen Nutzen, etwa Admin-Oberflächen und Token-Links zu individuellen Reports. Content-Signal-Zeilen machen deine Nutzungspräferenz explizit, statt sie dem Zufall zu überlassen. Beim Cutover einer Migration prüfen wir die Datei als festen Punkt, damit keine Staging-Sperre live geht.

Zum Abgleich nutzen wir sie in Audits: Eine Internetagentur ohne erreichbare robots.txt fällt im Agent-Ready-Score durch, weil Maschinen dort keinerlei Regeln finden. Die Ergebnisse stehen in der AI-Readiness-Studie.

Welche typischen Fehler kosten Sichtbarkeit?

Disallow: / aus der Entwicklungsumgebung bleibt nach dem Livegang stehen.
CSS- und JavaScript-Ordner werden gesperrt, sodass Google die Seite nicht korrekt rendern kann.
Eine gesperrte URL soll per noindex entfernt werden — der Crawler sieht das Signal nie.
Die Datei liefert hinter einem Redirect oder mit falschem Content-Type aus.
Die Sitemap-Zeile fehlt oder zeigt auf eine alte Domain.

Mit der Technical-SEO-Grundprüfung fallen alle fünf in Minuten auf.

Quellen

RFC 9309 — Robots Exclusion Protocol — IETF
Die offizielle Standardisierung von Syntax, Parsing und Statuscode-Verhalten.
Google — Introduction to robots.txt — Google Search Central
Erklärt, was robots.txt für Googles Crawler bewirkt und was nicht.
Content Signals Policy — Cloudflare
Definition der Content-Signal-Direktive für Search, AI-Input und AI-Training.
Technical SEO Basis — Modern Stack
Praxis-Checkliste für Crawling, Indexierung und Statuscodes.

Häufige Fragen

Verhindert Disallow, dass eine Seite in Google erscheint?

Nein. Disallow verbietet nur das Abrufen. Findet Google Links auf die URL, kann sie ohne Inhalt trotzdem im Index stehen. Zum Ausschließen brauchst du ein noindex-Signal (das der Crawler lesen darf) oder einen Zugriffsschutz.

Was passiert, wenn robots.txt fehlt?

Bei einem 404 gehen Crawler davon aus, dass alles erlaubt ist. Du verlierst aber die Chance, die Sitemap zu nennen und KI-Crawler gezielt zu adressieren. Bei Serverfehlern (5xx) kann Google das Crawlen zeitweise komplett aussetzen.

Soll ich KI-Crawler sperren?

Das ist eine Geschäftsentscheidung. Wer in KI-Antworten zitiert werden will, muss Such- und Antwort-Crawler zulassen. Training und Suche lassen sich getrennt steuern, weil Anbieter verschiedene User-Agents nutzen.

Weiterlesen

Crawlability
Crawlability beschreibt, ob Suchmaschinen-Crawler und KI-Assistenten deine Inhalte erreichen und lesen dürfen und können. Gesperrte Bots, fehlerhafte Statuscodes, Soft-404 und leere JavaScript-Hüllen verhindern sie.
Technical-SEO-Basis
Crawlability, Canonicals, Sitemap, robots.txt, Performance und strukturierte Daten als Lieferumfang der Migration — plus IndexNow und Redirect-Hygiene.
Technical SEO
Technical SEO ist der Teil der Suchmaschinenoptimierung, der sicherstellt, dass Crawler eine Webseite abrufen, rendern und indexieren können: Statuscodes, robots.txt, Sitemap, Canonicals, Performance, mobile Nutzbarkeit und strukturierte Daten.
Sitemap
Eine XML-Sitemap ist eine maschinenlesbare Liste der URLs einer Webseite im Sitemaps-Protokoll, optional mit Änderungsdatum (lastmod). Sie hilft Suchmaschinen beim Entdecken von Seiten, ersetzt aber keine interne Verlinkung.
AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf
Empirische Auswertung von 6.675 Live-Audits: Agent-Ready-Scores, llms.txt, Markdown-Negotiation und Crawl-Signale bei Physiotherapie, Steuerberatung, Coaching, Psychologie, Fotografie und weiteren Dienstleistern in Deutschland — mit Interpretation für GEO, AIO und Webseite-Modernisierung.
Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit
Vergleich lokaler und regionaler Webdesign-Agenturen für Bad Schönborn: Live-Audit der eigenen Agentur-Webseiten, Impressum-Sitz, Maschinenlesbarkeit und warum hübsche Seiten ohne KI-Layer unsichtbar werden.
AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten
Primärstudie zur AI-Readiness und AI-Sichtbarkeit von Dienstleister-Webseiten in Bad Schönborn inkl. Mingolsheim und Langenbrücken: Agent-Ready-Scores, Discovery-Mentions in KI-Suche, llms.txt und Handlungsempfehlungen.
AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten
Primärstudie zur AI-Readiness aller auffindbaren Dienstleister-Webseiten in Bruchsal (PLZ 76646) inkl. Stadtteile: Agent-Ready-Scores, llms.txt, Crawl-Signale und konkrete Handlungsempfehlungen für lokale Betriebe.