Crawlability erklärt: Crawler-Zugang und lesbares HTML — Glossar

Direkte Antwort

Crawlability: Crawlability ist das Maß, in dem Crawler deine Seiten erreichen und lesen können. Sie setzt Erlaubnis (robots.txt, Firewall), korrekte HTTP-Statuscodes, auffindbare URLs über Links oder Sitemap und Inhalt im ausgelieferten HTML voraus. Bricht ein Glied dieser Kette, können weder Suchmaschinen noch KI-Assistenten deine Seite verwenden.

Wichtigste Punkte

Crawlability = Erlaubnis, Erreichbarkeit und lesbarer Text im ausgelieferten HTML.
robots.txt steuert das Crawlen, nicht die Indexierung; Statuscodes müssen ehrlich sein.
Soft-404 und leere JavaScript-Hüllen zerstören Entdeckung und Extraktion lautlos.
KI-Bots sollten bewusst erlaubt werden, wenn du zitiert werden willst — nicht aus Versehen gesperrt.

— Steve Baka

Aktualisiert: 6. Oktober 2026 · Autor: Steve Baka

Was ist Crawlability?

Ein Crawler ist ein Programm, das Webseiten abruft, ihre Links verfolgt und Inhalte für Index oder Antwortsystem sammelt. Crawlability beschreibt, wie reibungslos das bei deiner Webseite gelingt. Sie ist die technische Voraussetzung für alles Weitere: Eine Seite, die nicht abgerufen werden kann, wird weder gerankt noch zitiert.

Die Kette besteht aus vier Gliedern. Erstens die Erlaubnis: Die robots.txt und serverseitige Regeln lassen den jeweiligen User-Agent zu. Zweitens die Entdeckung: Die URL ist über interne Links oder die Sitemap auffindbar. Drittens die Antwort: Der Server liefert einen korrekten Statuscode — 200 für vorhandene Seiten, 404 oder 410 für fehlende, 301 für dauerhaft umgezogene. Viertens der Inhalt: Der relevante Text steht im HTML, das der Crawler erhält.

Crawlability ist von der Indexierung zu trennen. Eine Seite kann crawlbar und trotzdem nicht indexiert sein, etwa weil sie noindex trägt oder als Duplikat gilt. Umgekehrt kann eine per robots.txt gesperrte URL ohne Inhalt im Index auftauchen, wenn andere Seiten auf sie verlinken.

Wie unterscheidet sich Crawling bei Google und bei KI-Systemen?

Google besitzt eine ausgereifte Rendering-Pipeline: Es ruft HTML ab und führt in einem zweiten Schritt JavaScript aus. Viele KI-Crawler tun das nicht oder nur eingeschränkt; sie lesen, was in der ersten Antwort steht. Eine Seite, die Inhalte erst im Browser nachlädt, kann für Google funktionieren und für einen Assistenten leer wirken. Hinzu kommen eigene User-Agents je Anbieter — für Suche, Training und Nutzerabrufe —, die du einzeln in der robots.txt behandeln kannst.

Deshalb hängen Crawlability und Rendering zusammen: SSG und SSR liefern fertiges HTML und sind der robusteste Weg, damit jeder Crawler denselben Text sieht. Das ist auch die Basis für Extrahierbarkeit und den Agent-Ready-Score.

Welche Fehler blockieren Crawler?

Fehlende oder falsche robots.txt: Eine Datei, die mit 404 oder 5xx antwortet, oder eine Regel Disallow: / aus der Entwicklungsphase, die nach dem Livegang bleibt. Google behandelt eine fehlende Datei als „alles erlaubt“, viele Prüfwerkzeuge werten sie dennoch als Mangel.
Firewall- und Sicherheits-Plugins: Bot-Schutz sperrt legitime Crawler anhand von Mustern, ohne dass du es merkst.
Soft-404: Fehlerseiten mit Status 200, leere Kategorien oder Suchergebnisseiten.
JavaScript-only-Shell: Das HTML enthält nur ein leeres Gerüst, der Text entsteht erst im Browser.
Endlose Parameter-URLs: Filter und Sortierungen erzeugen Tausende Varianten, die das Crawl-Budget verbrauchen.
Falsche Canonicals und Redirect-Ketten: Crawler verlieren sich oder indexieren die falsche Adresse.

In der Modern-Stack-Studie mit 6.675 Audits lag der Crawl-Score im Mittel bei 86 — klassische Crawl-Grundlagen sind meist vorhanden. Nur 1,8 % der Audits zeigten blockierte KI-Crawler. Die Lücke liegt woanders: beim llms-Score, der nur bei 28 lag. Details: AI-Readiness-Studie.

Wie sicherst du Crawlability?

robots.txt prüfen: erreichbar mit 200, keine versehentlichen Sperren, KI-Bots bewusst geregelt.
Statuscodes testen: Startseite, Leistungsseiten und ein absichtlich falscher URL-Pfad (muss 404 liefern).
HTML-Quelltext ansehen, nicht nur das gerenderte Bild: Steht der Haupttext im Dokument?
Sitemap pflegen und bei Änderungen per IndexNow oder Search Console melden.
Interne Links so setzen, dass jede wichtige Seite in wenigen Klicks erreichbar ist.

Crawlability bei Modern Stack

Wir prüfen robots, Statuscodes, Canonicals und ob der Body echten Text enthält — auf mehreren Seiten statt nur auf der Startseite. In Agentur-Audits fallen uns leere Shells und robots.txt-Fehler überraschend oft auf. Beim Neuaufbau mit Next.js liefern wir fertiges HTML, saubere Statuscodes, Sitemap und /llms.txt — Näheres in Technical SEO Basis und SSR/SSG-Stack.

Quellen

Google Search Central — Introduction to robots.txt — Google Search Central
Offizielle Erklärung, was robots.txt kann und was nicht.
Google Search Central — Overview of Google crawlers and fetchers — Google Search Central
Beschreibt Crawler-Arten, User-Agents und Verhalten.
AI-Readiness-Studie Deutschland — Modern Stack
Primärdaten zu Crawl-Score, blockierten KI-Bots und Struktur bei Dienstleister-Webseiten.

Häufige Fragen

Sollen KI-Bots erlaubt sein?

Wenn du in KI-Antworten genannt werden willst, ja — gezielt und bewusst. Lege in der robots.txt pro Bot fest, was erlaubt ist, und prüfe, dass Firewall oder Sicherheits-Plugin dieselben Bots nicht stillschweigend blockieren.

Was ist eine Soft-404?

Eine Seite, die den Statuscode 200 liefert, inhaltlich aber „nicht gefunden“ oder leer ist. Suchsysteme erkennen das oft und werten die Seite als Fehler; für Assistenten ist sie wertloses Rauschen. Soft-404 gehört korrekt als 404 oder 410 beantwortet.

Schützt robots.txt Seiten vor der Indexierung?

Nein. Die robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann trotzdem ohne Inhalt im Index erscheinen, wenn andere Seiten darauf verlinken. Zum Ausschluss dient noindex, und die Seite muss dafür crawlbar sein.

Weiterlesen

Technical-SEO-Basis
Crawlability, Canonicals, Sitemap, robots.txt, Performance und strukturierte Daten als Lieferumfang der Migration — plus IndexNow und Redirect-Hygiene.
SSR
SSR (Server-Side Rendering) erzeugt das HTML einer Seite auf dem Server pro Anfrage, statt es dem Browser per JavaScript zusammenbauen zu lassen. Crawler, Assistenten und Nutzer erhalten den Inhalt sofort im ersten Response.
llms.txt für Agenten
Was llms.txt und llms.json leisten — und warum sie nur Ergänzung zu crawlbarem, servergerendertem HTML sind, kein Ersatz für Inhalte.
SSG
SSG (Static Site Generation) erzeugt das fertige HTML jeder Seite einmal beim Build, nicht bei jedem Aufruf. Die Dateien lassen sich über ein CDN ausliefern — schnell, robust und für Crawler direkt lesbar.
robots.txt
robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, in der Betreiber Crawlern mitteilen, welche Pfade sie abrufen dürfen und wo die Sitemap liegt. Sie gilt als Höflichkeitsstandard (RFC 9309), nicht als Zugriffsschutz.
Sitemap
Eine XML-Sitemap ist eine maschinenlesbare Liste der URLs einer Webseite im Sitemaps-Protokoll, optional mit Änderungsdatum (lastmod). Sie hilft Suchmaschinen beim Entdecken von Seiten, ersetzt aber keine interne Verlinkung.
RAG
RAG (Retrieval-Augmented Generation) ergänzt ein Sprachmodell um eine Suchstufe: Vor der Antwort werden passende Textstellen abgerufen und dem Modell mitgegeben. Für Webseiten heißt das: klare, aktuelle, kurze Abschnitte.
IndexNow
IndexNow ist ein offenes Protokoll, mit dem du Suchmaschinen sofort über neue, geänderte oder gelöschte URLs informierst, statt auf den nächsten Crawl zu warten. Es wird u. a. von Bing und Yandex unterstützt, nicht von Google.
Technical SEO
Technical SEO ist der Teil der Suchmaschinenoptimierung, der sicherstellt, dass Crawler eine Webseite abrufen, rendern und indexieren können: Statuscodes, robots.txt, Sitemap, Canonicals, Performance, mobile Nutzbarkeit und strukturierte Daten.
Soft 404
Eine Soft-404 ist eine Seite, die dem Browser HTTP 200 meldet, inhaltlich aber „nicht gefunden“, leer oder wertlos ist. Suchmaschinen erkennen sie heuristisch und behandeln sie nicht als echte Seite.
Agent-Ready-Score
Der Agent-Ready-Score (0–100) bewertet, wie gut eine Webseite für KI-Crawler und Assistenten nutzbar ist: Auffindbarkeit, Inhalt für Agenten und Bot-Zugangsregeln — gemessen über mehrere Seiten, nicht nur die Startseite.
Markdown-Negotiation
Bei Markdown-Negotiation liefert ein Server unter derselben URL HTML oder Markdown, je nachdem, was der Client im Accept-Header anfordert. KI-Agenten erhalten so reinen Text mit Struktur, Menschen weiterhin die normale Seite.
SSR/SSG-Stack
Warum servergerendertes und statisch generiertes HTML die Basis für Performance, Crawlability und KI-Extraktion ist — und warum eine reine React-SPA für Marketingseiten meist nicht reicht.
llms.txt
llms.txt ist ein 2024 vorgeschlagenes Format: eine Markdown-Datei unter /llms.txt, die Sprachmodellen Titel, Kurzbeschreibung und priorisierte Links einer Webseite liefert. Sie ergänzt HTML, ersetzt aber keine guten Seiten.
Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit
Vergleich lokaler und regionaler Webdesign-Agenturen für Bad Schönborn: Live-Audit der eigenen Agentur-Webseiten, Impressum-Sitz, Maschinenlesbarkeit und warum hübsche Seiten ohne KI-Layer unsichtbar werden.
AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf
Empirische Auswertung von 6.675 Live-Audits: Agent-Ready-Scores, llms.txt, Markdown-Negotiation und Crawl-Signale bei Physiotherapie, Steuerberatung, Coaching, Psychologie, Fotografie und weiteren Dienstleistern in Deutschland — mit Interpretation für GEO, AIO und Webseite-Modernisierung.
AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten
Primärstudie zur AI-Readiness und AI-Sichtbarkeit von Dienstleister-Webseiten in Bad Schönborn inkl. Mingolsheim und Langenbrücken: Agent-Ready-Scores, Discovery-Mentions in KI-Suche, llms.txt und Handlungsempfehlungen.
AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten
Primärstudie zur AI-Readiness aller auffindbaren Dienstleister-Webseiten in Bruchsal (PLZ 76646) inkl. Stadtteile: Agent-Ready-Scores, llms.txt, Crawl-Signale und konkrete Handlungsempfehlungen für lokale Betriebe.