--- title: "robots.txt" title_en: "robots.txt" description: "robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, in der Betreiber Crawlern mitteilen, welche Pfade sie abrufen dürfen und wo die Sitemap liegt. Sie gilt als Höflichkeitsstandard (RFC 9309), nicht als Zugriffsschutz." description_en: "robots.txt is a plain text file at the root of a domain that tells crawlers which paths they may fetch and where the sitemap lives. It is a courtesy standard (RFC 9309), not access control." summary_en: "robots.txt is a plain text file at the root of a domain that tells crawlers which paths they may fetch and where the sitemap lives. It is a courtesy standard (RFC 9309), not access control." direct_answer_en: "robots.txt is a text file at /robots.txt that tells crawlers which paths they may request. Standardised as the Robots Exclusion Protocol (RFC 9309), it controls crawling, not indexing or security. Modern Stack ships it with a sitemap reference and explicit rules for AI crawlers." url: "https://modern-stack.de/glossar/robots-txt" type: "glossary" kind: "glossary" language: de-DE updated_at: "2026-10-06T18:00:00+00:00" --- # robots.txt ## English Abstract robots.txt is a plain text file at the root of a domain that tells crawlers which paths they may fetch and where the sitemap lives. It is a courtesy standard (RFC 9309), not access control. ## Quick Answer (EN) robots.txt is a text file at /robots.txt that tells crawlers which paths they may request. Standardised as the Robots Exclusion Protocol (RFC 9309), it controls crawling, not indexing or security. Modern Stack ships it with a sitemap reference and explicit rules for AI crawlers. ## Key Takeaways (EN) - robots.txt must live at the host root (/robots.txt) and applies per host, protocol and port. - Disallow blocks crawling, not indexing; use noindex or authentication for that. - A 404 means "no restrictions"; a 5xx can make crawlers pause the whole site. - AI crawlers such as GPTBot, OAI-SearchBot, ClaudeBot or PerplexityBot are addressed by user-agent; Content-Signal adds usage preferences. ## English Summary robots.txt is the Robots Exclusion Protocol (RFC 9309): a plain-text file at the root of a host with User-agent groups and Allow/Disallow rules. Well-behaved crawlers read it before fetching other URLs. It is not a security mechanism and does not remove pages from an index. Search engines and AI crawlers each announce their own user-agent token, so rules can differ per bot. A Sitemap line points crawlers to your URL list, and the newer Content-Signal directive expresses preferences for search, AI input and AI training use. ## Quick Answer **robots.txt:** Die robots.txt ist die erste Datei, die ein seriöser Crawler bei deiner Domain abruft: ein schlichter Text unter `/robots.txt`, der festlegt, welche Bereiche ein bestimmter Bot besuchen darf. Sie steuert das Crawlen, nicht die Indexierung und schon gar nicht die Sicherheit. Praktisch heißt das: Lass sie existieren, nenne die Sitemap und sperre nur, was wirklich nicht in Such- und KI-Antworten gehört. > Zitierfähigkeit entsteht, wenn Definition, Struktur und klare nächste Schritte zusammenkommen. > Steve Baka ## Key Takeaways - Sie liegt immer im Root (`/robots.txt`) und gilt pro Host, Protokoll und Port. - `Disallow` blockiert das Abrufen, nicht das Indexieren — dafür gibt es `noindex` oder Zugriffsschutz. - Ein 404 heißt „alles erlaubt“, ein dauerhafter 5xx kann das Crawlen der ganzen Domain ausbremsen. - KI-Crawler werden per User-Agent angesprochen; so erreichst du [Crawlability](/glossar/crawlability) für Suche und Antwortsysteme gleichzeitig. ## Was ist robots.txt? Die **robots.txt** ist eine Textdatei im Wurzelverzeichnis einer Domain, etwa `https://beispiel.de/robots.txt`. Sie geht auf das Robots Exclusion Protocol von 1994 zurück und wurde 2022 als RFC 9309 offiziell standardisiert. Der Aufbau ist bewusst simpel: Eine Gruppe beginnt mit `User-agent:` und nennt den Bot, darunter stehen `Allow:`- und `Disallow:`-Zeilen mit Pfaden. `User-agent: *` gilt für alle Crawler, die keine eigene Gruppe haben. Wichtig ist, was die Datei **nicht** ist. Sie ist kein Passwortschutz: Wer sie ignoriert, wird technisch nicht aufgehalten, und die Datei ist öffentlich lesbar — wer dort „geheime“ Pfade einträgt, verrät sie. Sie ist auch kein Entfernungswerkzeug für Suchergebnisse. Ist eine URL gesperrt, aber von außen verlinkt, kann sie ohne Beschreibung weiter im Index auftauchen, weil der Crawler den Inhalt nie sieht und deshalb auch ein `noindex` nicht lesen kann. Eine zweite Aufgabe hat sich etabliert: die Zeile `Sitemap: https://beispiel.de/sitemap.xml`. Sie weist Crawler auf deine [Sitemap](/glossar/sitemap-xml) hin und ist von jedem Host aus erreichbar. ## Wie lesen Crawler die robots.txt? Bevor ein Bot andere URLs deiner Domain abruft, holt er die robots.txt. Er sucht die Gruppe mit dem passendsten User-Agent und wendet die spezifischste passende Regel an. Der Statuscode der Datei entscheidet über das Verhalten: - **200:** Regeln gelten wie geschrieben. Google verarbeitet laut Dokumentation maximal 500 KiB. - **404 oder andere 4xx:** Es gibt keine Einschränkungen; alles darf gecrawlt werden. - **5xx oder Timeout:** Crawler behandeln das vorsichtig und pausieren zeitweise, bei Google im Zweifel für die gesamte Domain. Genau deshalb ist eine „vergessene“ oder kaputte robots.txt kein Schönheitsfehler. Nach einer Migration fällt sie oft weg oder wird durch eine Staging-Variante mit `Disallow: /` ersetzt — und die gesamte Webseite verschwindet nach und nach aus der Suche. ## Warum ist robots.txt für KI-Sichtbarkeit relevant? Neben Googlebot und Bingbot gibt es inzwischen eigene Crawler der KI-Anbieter, etwa `GPTBot` und `OAI-SearchBot` von OpenAI, `ClaudeBot` von Anthropic, `PerplexityBot` und das Steuer-Token `Google-Extended` für Googles KI-Produkte. Viele davon trennen Suche und Training: Ein Antwort-Crawler kann erlaubt sein, während Trainingsdaten-Crawler gesperrt bleiben. Wer pauschal alle unbekannten Bots aussperrt, verschwindet auch aus den Quellenlisten von Antwortsystemen — und kann dort nie zitiert werden, siehe [Zitation](/glossar/zitation). Zusätzlich hat Cloudflare 2025 die Direktive **Content-Signal** vorgeschlagen. Sie ergänzt die Zugriffsregeln um Nutzungspräferenzen für `search`, `ai-input` und `ai-train`. Sie ist noch kein universeller Standard, signalisiert aber klar deine Absicht. Wie solche Signale in einen größeren Rahmen passen, zeigt auch der [Agent-Ready-Score](/glossar/agent-ready-score). ## Wie setzt Modern Stack robots.txt ein? Jede Webseite von Modern Stack liefert eine robots.txt aus, die drei Dinge tut: Sie erlaubt Such- und Antwort-Crawler ausdrücklich, nennt die Sitemap und sperrt nur Bereiche ohne öffentlichen Nutzen, etwa Admin-Oberflächen und Token-Links zu individuellen Reports. Content-Signal-Zeilen machen deine Nutzungspräferenz explizit, statt sie dem Zufall zu überlassen. Beim Cutover einer Migration prüfen wir die Datei als festen Punkt, damit keine Staging-Sperre live geht. Zum Abgleich nutzen wir sie in Audits: Eine Internetagentur ohne erreichbare robots.txt fällt im [Agent-Ready-Score](/glossar/agent-ready-score) durch, weil Maschinen dort keinerlei Regeln finden. Die Ergebnisse stehen in der [AI-Readiness-Studie](/themen/ai-readiness-dienstleister-studie). ## Welche typischen Fehler kosten Sichtbarkeit? 1. `Disallow: /` aus der Entwicklungsumgebung bleibt nach dem Livegang stehen. 2. CSS- und JavaScript-Ordner werden gesperrt, sodass Google die Seite nicht korrekt rendern kann. 3. Eine gesperrte URL soll per `noindex` entfernt werden — der Crawler sieht das Signal nie. 4. Die Datei liefert hinter einem Redirect oder mit falschem Content-Type aus. 5. Die Sitemap-Zeile fehlt oder zeigt auf eine alte Domain. Mit der [Technical-SEO](/glossar/technical-seo)-Grundprüfung fallen alle fünf in Minuten auf. ## Verwandte Themen - [Crawlability](/glossar/crawlability) - [Technical SEO](/glossar/technical-seo) - [Sitemap](/glossar/sitemap-xml) - [Technical SEO Basis](/themen/technical-seo-basis) - [AI-Readiness-Studie](/themen/ai-readiness-dienstleister-studie) - [Studie Bad Schönborn](/themen/ai-readiness-bad-schoenborn-studie) - [Studie Bruchsal](/themen/ai-readiness-bruchsal-studie) - [Webdesign Agenturen Bad Schoenborn](/themen/webdesign-agenturen-bad-schoenborn) ## Quellen - [RFC 9309 — Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) — IETF; Die offizielle Standardisierung von Syntax, Parsing und Statuscode-Verhalten. - [Google — Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) — Google Search Central; Erklärt, was robots.txt für Googles Crawler bewirkt und was nicht. - [Content Signals Policy](https://contentsignals.org) — Cloudflare; Definition der Content-Signal-Direktive für Search, AI-Input und AI-Training. - [Technical SEO Basis](https://modern-stack.de/themen/technical-seo-basis) — Modern Stack; Praxis-Checkliste für Crawling, Indexierung und Statuscodes. ## FAQ ### Verhindert Disallow, dass eine Seite in Google erscheint? Nein. Disallow verbietet nur das Abrufen. Findet Google Links auf die URL, kann sie ohne Inhalt trotzdem im Index stehen. Zum Ausschließen brauchst du ein noindex-Signal (das der Crawler lesen darf) oder einen Zugriffsschutz. ### Was passiert, wenn robots.txt fehlt? Bei einem 404 gehen Crawler davon aus, dass alles erlaubt ist. Du verlierst aber die Chance, die Sitemap zu nennen und KI-Crawler gezielt zu adressieren. Bei Serverfehlern (5xx) kann Google das Crawlen zeitweise komplett aussetzen. ### Soll ich KI-Crawler sperren? Das ist eine Geschäftsentscheidung. Wer in KI-Antworten zitiert werden will, muss Such- und Antwort-Crawler zulassen. Training und Suche lassen sich getrennt steuern, weil Anbieter verschiedene User-Agents nutzen. ## Related - [Crawlability](https://modern-stack.de/glossar/crawlability) - [Technical-SEO-Basis](https://modern-stack.de/themen/technical-seo-basis) - [Technical SEO](https://modern-stack.de/glossar/technical-seo) - [Sitemap](https://modern-stack.de/glossar/sitemap-xml) - [AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf](https://modern-stack.de/themen/ai-readiness-dienstleister-studie) - [Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit](https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn) - [AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten](https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie) - [AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten](https://modern-stack.de/themen/ai-readiness-bruchsal-studie) ## Inline Entity Mentions - [[entity:crawlability]] → https://modern-stack.de/themen/crawlability - [[entity:sitemap-xml]] → https://modern-stack.de/themen/sitemap-xml - [[entity:zitation]] → https://modern-stack.de/themen/zitation - [[entity:agent-ready-score]] → https://modern-stack.de/themen/agent-ready-score - [[entity:ai-readiness-dienstleister-studie]] → https://modern-stack.de/themen/ai-readiness-dienstleister-studie - [[entity:technical-seo]] → https://modern-stack.de/themen/technical-seo - [[entity:technical-seo-basis]] → https://modern-stack.de/themen/technical-seo-basis - [[entity:ai-readiness-bad-schoenborn-studie]] → https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie - [[entity:ai-readiness-bruchsal-studie]] → https://modern-stack.de/themen/ai-readiness-bruchsal-studie - [[entity:webdesign-agenturen-bad-schoenborn]] → https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn ## Strukturierte Daten ```json { "@context": "https://schema.org", "@graph": [ { "@type": "WebSite", "@id": "https://modern-stack.de/#website", "url": "https://modern-stack.de", "name": "Modern Stack", "description": "Wir modernisieren bestehende Unternehmenswebseiten — schneller, klarer und besser lesbar für Suche und KI. Inhalte bleiben. Ab 500 €.", "publisher": { "@id": "https://modern-stack.de/#organization" }, "inLanguage": "de-DE" }, { "@type": [ "Organization", "ProfessionalService" ], "@id": "https://modern-stack.de/#organization", "name": "Modern Stack", "legalName": "Modern Stack", "url": "https://modern-stack.de", "logo": "https://modern-stack.de/brand/logo.png", "email": "info@modern-stack.de", "telephone": "+4915225317285", "sameAs": [ "https://www.google.com/search?kgmid=/g/11p1mc1kq_&q=Modern+Stack", "https://stevebaka.de", "https://www.linkedin.com/in/steve-baka/", "https://www.mallorca-expats.de" ], "foundingLocation": { "@type": "Place", "name": "Bad Schönborn, Deutschland" }, "address": { "@type": "PostalAddress", "streetAddress": "Glöckelsberg 13/2", "postalCode": "76669", "addressLocality": "Bad Schönborn", "addressRegion": "Baden-Württemberg", "addressCountry": "DE" }, "geo": { "@type": "GeoCoordinates", "latitude": 49.22167, "longitude": 8.65734 }, "areaServed": [ { "@type": "Place", "name": "Bad Schönborn", "url": "https://modern-stack.de/regionen/bad-schoenborn" }, { "@type": "Place", "name": "Mingolsheim", "alternateName": "Bad Mingolsheim", "url": "https://modern-stack.de/regionen/mingolsheim" }, { "@type": "Place", "name": "Langenbrücken", "alternateName": "Bad Langenbrücken", "url": "https://modern-stack.de/regionen/langenbruecken" }, { "@type": "Country", "name": "DE" }, { "@type": "Country", "name": "AT" }, { "@type": "Country", "name": "CH" } ], "knowsAbout": [ "Webseite-Modernisierung", "WordPress-Migration", "Generative Engine Optimization", "Lokale Sichtbarkeit Bad Schönborn" ], "founder": { "@id": "https://modern-stack.de/#person" } }, { "@type": "Person", "@id": "https://modern-stack.de/#person", "name": "Steve Baka", "jobTitle": "Gründer, Modern Stack", "url": "https://stevebaka.de", "email": "info@modern-stack.de", "telephone": "+4915225317285", "sameAs": [ "https://stevebaka.de", "https://www.linkedin.com/in/steve-baka/", "https://www.mallorca-expats.de", "https://geo-seo-aio.de" ], "worksFor": { "@id": "https://modern-stack.de/#organization" }, "knowsAbout": [ "Webseite-Modernisierung", "Generative Engine Optimization", "AI Search", "WordPress Migration", "Knowledge Graph", "Lokale Sichtbarkeit D-A-CH" ] }, { "@type": "WebPage", "@id": "https://modern-stack.de/glossar/robots-txt#webpage", "url": "https://modern-stack.de/glossar/robots-txt", "name": "robots.txt erklärt — Crawler, KI-Bots, Sitemap | Modern Stack", "description": "Was robots.txt wirklich steuert, was nicht — und wie du Suchmaschinen und KI-Crawler richtig einlädst. Mit Fehlern, die Sichtbarkeit kosten.", "isPartOf": { "@id": "https://modern-stack.de/#website" }, "about": { "@id": "https://modern-stack.de/glossar/robots-txt#main" }, "breadcrumb": { "@id": "https://modern-stack.de/glossar/robots-txt#breadcrumb" }, "dateModified": "2026-10-06T18:00:00+00:00", "inLanguage": "de-DE" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/robots-txt#main", "name": "robots.txt erklärt — Crawler, KI-Bots, Sitemap", "headline": "robots.txt erklärt — Crawler, KI-Bots, Sitemap", "alternateName": "robots.txt", "description": "robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, in der Betreiber Crawlern mitteilen, welche Pfade sie abrufen dürfen und wo die Sitemap liegt. Sie gilt als Höflichkeitsstandard (RFC 9309), nicht als Zugriffsschutz.", "abstract": [ { "@value": "robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, in der Betreiber Crawlern mitteilen, welche Pfade sie abrufen dürfen und wo die Sitemap liegt. Sie gilt als Höflichkeitsstandard (RFC 9309), nicht als Zugriffsschutz.", "@language": "de" }, { "@value": "robots.txt is a plain text file at the root of a domain that tells crawlers which paths they may fetch and where the sitemap lives. It is a courtesy standard (RFC 9309), not access control.", "@language": "en" } ], "url": "https://modern-stack.de/glossar/robots-txt", "inLanguage": [ "de-DE", "en" ], "datePublished": "2026-08-31T18:00:00+00:00", "dateModified": "2026-10-06T18:00:00+00:00", "author": { "@id": "https://modern-stack.de/#person" }, "publisher": { "@id": "https://modern-stack.de/#organization" }, "mainEntityOfPage": { "@id": "https://modern-stack.de/glossar/robots-txt#webpage" }, "speakable": { "@type": "SpeakableSpecification", "cssSelector": [ ".gb-direct-answer", ".gb-faq-answer" ] }, "encoding": { "@type": "MediaObject", "encodingFormat": "text/markdown", "name": "English direct answer", "text": "robots.txt is a text file at /robots.txt that tells crawlers which paths they may request. Standardised as the Robots Exclusion Protocol (RFC 9309), it controls crawling, not indexing or security. Modern Stack ships it with a sitemap reference and explicit rules for AI crawlers." }, "citation": [ "https://www.rfc-editor.org/rfc/rfc9309", "https://developers.google.com/search/docs/crawling-indexing/robots/intro", "https://contentsignals.org", "https://modern-stack.de/themen/technical-seo-basis" ], "mentions": [ { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/crawlability#main", "name": "Crawlability", "alternateName": "Crawlability", "url": "https://modern-stack.de/glossar/crawlability" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/technical-seo-basis#main", "name": "Technical-SEO-Basis", "alternateName": "Technical SEO foundation", "url": "https://modern-stack.de/themen/technical-seo-basis" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/technical-seo#main", "name": "Technical SEO", "alternateName": "Technical SEO", "url": "https://modern-stack.de/glossar/technical-seo" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/sitemap-xml#main", "name": "Sitemap", "alternateName": "XML sitemap", "url": "https://modern-stack.de/glossar/sitemap-xml" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-dienstleister-studie#main", "name": "AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf", "alternateName": "AI readiness of German service-business websites — study, numbers and action", "url": "https://modern-stack.de/themen/ai-readiness-dienstleister-studie" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn#main", "name": "Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit", "alternateName": "Best web design agencies in Bad Schönborn 2026 — ranked by AI visibility", "url": "https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie#main", "name": "AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten", "alternateName": "AI readiness in Bad Schönborn — local study of service-business websites", "url": "https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-bruchsal-studie#main", "name": "AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten", "alternateName": "AI readiness in Bruchsal — local study of service-business websites", "url": "https://modern-stack.de/themen/ai-readiness-bruchsal-studie" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/zitation#main", "name": "Zitation", "alternateName": "Citation", "url": "https://modern-stack.de/glossar/zitation" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/agent-ready-score#main", "name": "Agent-Ready-Score", "alternateName": "Agent-ready score", "url": "https://modern-stack.de/glossar/agent-ready-score" } ], "inDefinedTermSet": "https://modern-stack.de/glossar" }, { "@type": "BreadcrumbList", "@id": "https://modern-stack.de/glossar/robots-txt#breadcrumb", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Startseite", "item": "https://modern-stack.de/" }, { "@type": "ListItem", "position": 2, "name": "Glossar", "item": "https://modern-stack.de/glossar" }, { "@type": "ListItem", "position": 3, "name": "robots.txt", "item": "https://modern-stack.de/glossar/robots-txt" } ] }, { "@type": "FAQPage", "@id": "https://modern-stack.de/glossar/robots-txt#faq", "mainEntity": [ { "@type": "Question", "name": "Verhindert Disallow, dass eine Seite in Google erscheint?", "acceptedAnswer": { "@type": "Answer", "text": "Nein. Disallow verbietet nur das Abrufen. Findet Google Links auf die URL, kann sie ohne Inhalt trotzdem im Index stehen. Zum Ausschließen brauchst du ein noindex-Signal (das der Crawler lesen darf) oder einen Zugriffsschutz." } }, { "@type": "Question", "name": "Was passiert, wenn robots.txt fehlt?", "acceptedAnswer": { "@type": "Answer", "text": "Bei einem 404 gehen Crawler davon aus, dass alles erlaubt ist. Du verlierst aber die Chance, die Sitemap zu nennen und KI-Crawler gezielt zu adressieren. Bei Serverfehlern (5xx) kann Google das Crawlen zeitweise komplett aussetzen." } }, { "@type": "Question", "name": "Soll ich KI-Crawler sperren?", "acceptedAnswer": { "@type": "Answer", "text": "Das ist eine Geschäftsentscheidung. Wer in KI-Antworten zitiert werden will, muss Such- und Antwort-Crawler zulassen. Training und Suche lassen sich getrennt steuern, weil Anbieter verschiedene User-Agents nutzen." } } ] } ] } ```