--- title: "Crawlability" title_en: "Crawlability" description: "Crawlability beschreibt, ob Suchmaschinen-Crawler und KI-Assistenten deine Inhalte erreichen und lesen dürfen und können. Gesperrte Bots, fehlerhafte Statuscodes, Soft-404 und leere JavaScript-Hüllen verhindern sie." description_en: "Crawlability describes whether search crawlers and AI assistants are allowed and able to reach and read your content. Blocked bots, wrong status codes, soft 404s and empty JavaScript shells prevent it." summary_en: "Crawlability describes whether search crawlers and AI assistants are allowed and able to reach and read your content. Blocked bots, wrong status codes, soft 404s and empty JavaScript shells prevent it." direct_answer_en: "Crawlability is the degree to which crawlers can access and read your pages. It requires permission (robots.txt, firewall), correct HTTP status codes, discoverable URLs (links, sitemap) and content present in the delivered HTML. If any link in that chain breaks, search and AI systems cannot use your page." url: "https://modern-stack.de/glossar/crawlability" type: "glossary" kind: "glossary" language: de-DE updated_at: "2026-10-06T18:00:00+00:00" --- # Crawlability ## English Abstract Crawlability describes whether search crawlers and AI assistants are allowed and able to reach and read your content. Blocked bots, wrong status codes, soft 404s and empty JavaScript shells prevent it. ## Quick Answer (EN) Crawlability is the degree to which crawlers can access and read your pages. It requires permission (robots.txt, firewall), correct HTTP status codes, discoverable URLs (links, sitemap) and content present in the delivered HTML. If any link in that chain breaks, search and AI systems cannot use your page. ## Key Takeaways (EN) - Crawlability = permission, reachability and readable content in the delivered HTML. - robots.txt controls crawling, not indexing; status codes must be honest. - Soft 404s and JavaScript-only shells silently break discovery and extraction. - AI bots must be allowed deliberately if you want to be cited. ## English Summary Crawlability is the technical precondition for everything else in search and AI visibility. A crawler must be allowed by robots.txt and firewall rules, find the URL via links or a sitemap, receive a correct status code and see the actual text in the HTML response. Pages that return 200 for missing content (soft 404), block bots by accident or render their text only after client-side JavaScript are effectively invisible. Modern Stack audits these points on several pages per site. ## Quick Answer **Crawlability:** Crawlability ist das Maß, in dem Crawler deine Seiten erreichen und lesen können. Sie setzt Erlaubnis (robots.txt, Firewall), korrekte HTTP-Statuscodes, auffindbare URLs über Links oder Sitemap und Inhalt im ausgelieferten HTML voraus. Bricht ein Glied dieser Kette, können weder Suchmaschinen noch KI-Assistenten deine Seite verwenden. > Zitierfähigkeit entsteht, wenn Definition, Struktur und klare nächste Schritte zusammenkommen. > Steve Baka ## Key Takeaways - Crawlability = Erlaubnis, Erreichbarkeit und lesbarer Text im ausgelieferten HTML. - [robots.txt](/glossar/robots-txt) steuert das Crawlen, nicht die Indexierung; Statuscodes müssen ehrlich sein. - [Soft-404](/glossar/soft-404) und leere JavaScript-Hüllen zerstören Entdeckung und Extraktion lautlos. - KI-Bots sollten bewusst erlaubt werden, wenn du zitiert werden willst — nicht aus Versehen gesperrt. ## Was ist Crawlability? Ein **Crawler** ist ein Programm, das Webseiten abruft, ihre Links verfolgt und Inhalte für Index oder Antwortsystem sammelt. **Crawlability** beschreibt, wie reibungslos das bei deiner Webseite gelingt. Sie ist die technische Voraussetzung für alles Weitere: Eine Seite, die nicht abgerufen werden kann, wird weder gerankt noch zitiert. Die Kette besteht aus vier Gliedern. Erstens die **Erlaubnis**: Die [robots.txt](/glossar/robots-txt) und serverseitige Regeln lassen den jeweiligen User-Agent zu. Zweitens die **Entdeckung**: Die URL ist über interne Links oder die [Sitemap](/glossar/sitemap-xml) auffindbar. Drittens die **Antwort**: Der Server liefert einen korrekten Statuscode — 200 für vorhandene Seiten, 404 oder 410 für fehlende, 301 für dauerhaft umgezogene. Viertens der **Inhalt**: Der relevante Text steht im HTML, das der Crawler erhält. Crawlability ist von der Indexierung zu trennen. Eine Seite kann crawlbar und trotzdem nicht indexiert sein, etwa weil sie `noindex` trägt oder als Duplikat gilt. Umgekehrt kann eine per robots.txt gesperrte URL ohne Inhalt im Index auftauchen, wenn andere Seiten auf sie verlinken. ## Wie unterscheidet sich Crawling bei Google und bei KI-Systemen? Google besitzt eine ausgereifte Rendering-Pipeline: Es ruft HTML ab und führt in einem zweiten Schritt JavaScript aus. Viele KI-Crawler tun das nicht oder nur eingeschränkt; sie lesen, was in der ersten Antwort steht. Eine Seite, die Inhalte erst im Browser nachlädt, kann für Google funktionieren und für einen Assistenten leer wirken. Hinzu kommen eigene User-Agents je Anbieter — für Suche, Training und Nutzerabrufe —, die du einzeln in der robots.txt behandeln kannst. Deshalb hängen Crawlability und Rendering zusammen: [SSG](/glossar/ssg) und [SSR](/glossar/ssr) liefern fertiges HTML und sind der robusteste Weg, damit jeder Crawler denselben Text sieht. Das ist auch die Basis für [Extrahierbarkeit](/glossar/extrahierbarkeit) und den [Agent-Ready-Score](/glossar/agent-ready-score). ## Welche Fehler blockieren Crawler? - **Fehlende oder falsche robots.txt:** Eine Datei, die mit 404 oder 5xx antwortet, oder eine Regel `Disallow: /` aus der Entwicklungsphase, die nach dem Livegang bleibt. Google behandelt eine fehlende Datei als „alles erlaubt“, viele Prüfwerkzeuge werten sie dennoch als Mangel. - **Firewall- und Sicherheits-Plugins:** Bot-Schutz sperrt legitime Crawler anhand von Mustern, ohne dass du es merkst. - **Soft-404:** Fehlerseiten mit Status 200, leere Kategorien oder Suchergebnisseiten. - **JavaScript-only-Shell:** Das HTML enthält nur ein leeres Gerüst, der Text entsteht erst im Browser. - **Endlose Parameter-URLs:** Filter und Sortierungen erzeugen Tausende Varianten, die das Crawl-Budget verbrauchen. - **Falsche [Canonicals](/glossar/canonical) und Redirect-Ketten:** Crawler verlieren sich oder indexieren die falsche Adresse. In der Modern-Stack-Studie mit 6.675 Audits lag der Crawl-Score im Mittel bei 86 — klassische Crawl-Grundlagen sind meist vorhanden. Nur 1,8 % der Audits zeigten blockierte KI-Crawler. Die Lücke liegt woanders: beim llms-Score, der nur bei 28 lag. Details: [AI-Readiness-Studie](/themen/ai-readiness-dienstleister-studie). ## Wie sicherst du Crawlability? 1. robots.txt prüfen: erreichbar mit 200, keine versehentlichen Sperren, KI-Bots bewusst geregelt. 2. Statuscodes testen: Startseite, Leistungsseiten und ein absichtlich falscher URL-Pfad (muss 404 liefern). 3. HTML-Quelltext ansehen, nicht nur das gerenderte Bild: Steht der Haupttext im Dokument? 4. Sitemap pflegen und bei Änderungen per [IndexNow](/glossar/indexnow) oder Search Console melden. 5. Interne Links so setzen, dass jede wichtige Seite in wenigen Klicks erreichbar ist. ## Crawlability bei Modern Stack Wir prüfen robots, Statuscodes, Canonicals und ob der Body echten Text enthält — auf mehreren Seiten statt nur auf der Startseite. In Agentur-Audits fallen uns leere Shells und robots.txt-Fehler überraschend oft auf. Beim Neuaufbau mit [Next.js](/glossar/nextjs) liefern wir fertiges HTML, saubere Statuscodes, Sitemap und `/llms.txt` — Näheres in [Technical SEO Basis](/themen/technical-seo-basis) und [SSR/SSG-Stack](/themen/ssr-ssg-stack). ## Verwandte Themen - [SSR](/glossar/ssr) - [SSG](/glossar/ssg) - [robots.txt](/glossar/robots-txt) - [Technical SEO](/glossar/technical-seo) - [RAG](/glossar/rag) - [llms.txt für Agenten](/themen/llms-txt-agenten) - [SSR/SSG-Stack](/themen/ssr-ssg-stack) - [Technical SEO Basis](/themen/technical-seo-basis) - [IndexNow](/glossar/indexnow) - [llms.txt](/glossar/llms-txt) - [Sitemap](/glossar/sitemap-xml) - [Soft-404](/glossar/soft-404) - [Agent-Ready-Score](/glossar/agent-ready-score) - [Markdown-Negotiation](/glossar/markdown-negotiation) ## Quellen - [Google Search Central — Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) — Google Search Central; Offizielle Erklärung, was robots.txt kann und was nicht. - [Google Search Central — Overview of Google crawlers and fetchers](https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) — Google Search Central; Beschreibt Crawler-Arten, User-Agents und Verhalten. - [AI-Readiness-Studie Deutschland](https://modern-stack.de/studie) — Modern Stack; Primärdaten zu Crawl-Score, blockierten KI-Bots und Struktur bei Dienstleister-Webseiten. ## FAQ ### Sollen KI-Bots erlaubt sein? Wenn du in KI-Antworten genannt werden willst, ja — gezielt und bewusst. Lege in der [[entity:robots-txt|robots.txt]] pro Bot fest, was erlaubt ist, und prüfe, dass Firewall oder Sicherheits-Plugin dieselben Bots nicht stillschweigend blockieren. ### Was ist eine Soft-404? Eine Seite, die den Statuscode 200 liefert, inhaltlich aber „nicht gefunden“ oder leer ist. Suchsysteme erkennen das oft und werten die Seite als Fehler; für Assistenten ist sie wertloses Rauschen. [[entity:soft-404|Soft-404]] gehört korrekt als 404 oder 410 beantwortet. ### Schützt robots.txt Seiten vor der Indexierung? Nein. Die robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann trotzdem ohne Inhalt im Index erscheinen, wenn andere Seiten darauf verlinken. Zum Ausschluss dient `noindex`, und die Seite muss dafür crawlbar sein. ## Related - [Technical-SEO-Basis](https://modern-stack.de/themen/technical-seo-basis) - [SSR](https://modern-stack.de/glossar/ssr) - [llms.txt für Agenten](https://modern-stack.de/themen/llms-txt-agenten) - [SSG](https://modern-stack.de/glossar/ssg) - [robots.txt](https://modern-stack.de/glossar/robots-txt) - [Sitemap](https://modern-stack.de/glossar/sitemap-xml) - [RAG](https://modern-stack.de/glossar/rag) - [IndexNow](https://modern-stack.de/glossar/indexnow) - [Technical SEO](https://modern-stack.de/glossar/technical-seo) - [Soft 404](https://modern-stack.de/glossar/soft-404) - [Agent-Ready-Score](https://modern-stack.de/glossar/agent-ready-score) - [Markdown-Negotiation](https://modern-stack.de/glossar/markdown-negotiation) - [SSR/SSG-Stack](https://modern-stack.de/themen/ssr-ssg-stack) - [llms.txt](https://modern-stack.de/glossar/llms-txt) - [Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit](https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn) - [AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf](https://modern-stack.de/themen/ai-readiness-dienstleister-studie) - [AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten](https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie) - [AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten](https://modern-stack.de/themen/ai-readiness-bruchsal-studie) ## Inline Entity Mentions - [[entity:robots-txt]] → https://modern-stack.de/themen/robots-txt - [[entity:soft-404]] → https://modern-stack.de/themen/soft-404 - [[entity:sitemap-xml]] → https://modern-stack.de/themen/sitemap-xml - [[entity:ssg]] → https://modern-stack.de/themen/ssg - [[entity:ssr]] → https://modern-stack.de/themen/ssr - [[entity:extrahierbarkeit]] → https://modern-stack.de/themen/extrahierbarkeit - [[entity:agent-ready-score]] → https://modern-stack.de/themen/agent-ready-score - [[entity:canonical]] → https://modern-stack.de/themen/canonical - [[entity:ai-readiness-dienstleister-studie]] → https://modern-stack.de/themen/ai-readiness-dienstleister-studie - [[entity:indexnow]] → https://modern-stack.de/themen/indexnow - [[entity:nextjs]] → https://modern-stack.de/themen/nextjs - [[entity:technical-seo-basis]] → https://modern-stack.de/themen/technical-seo-basis - [[entity:ssr-ssg-stack]] → https://modern-stack.de/themen/ssr-ssg-stack - [[entity:technical-seo]] → https://modern-stack.de/themen/technical-seo - [[entity:rag]] → https://modern-stack.de/themen/rag - [[entity:llms-txt-agenten]] → https://modern-stack.de/themen/llms-txt-agenten - [[entity:llms-txt]] → https://modern-stack.de/themen/llms-txt - [[entity:markdown-negotiation]] → https://modern-stack.de/themen/markdown-negotiation ## Strukturierte Daten ```json { "@context": "https://schema.org", "@graph": [ { "@type": "WebSite", "@id": "https://modern-stack.de/#website", "url": "https://modern-stack.de", "name": "Modern Stack", "description": "Wir modernisieren bestehende Unternehmenswebseiten — schneller, klarer und besser lesbar für Suche und KI. Inhalte bleiben. Ab 500 €.", "publisher": { "@id": "https://modern-stack.de/#organization" }, "inLanguage": "de-DE" }, { "@type": [ "Organization", "ProfessionalService" ], "@id": "https://modern-stack.de/#organization", "name": "Modern Stack", "legalName": "Modern Stack", "url": "https://modern-stack.de", "logo": "https://modern-stack.de/brand/logo.png", "email": "info@modern-stack.de", "telephone": "+4915225317285", "sameAs": [ "https://www.google.com/search?kgmid=/g/11p1mc1kq_&q=Modern+Stack", "https://stevebaka.de", "https://www.linkedin.com/in/steve-baka/", "https://www.mallorca-expats.de" ], "foundingLocation": { "@type": "Place", "name": "Bad Schönborn, Deutschland" }, "address": { "@type": "PostalAddress", "streetAddress": "Glöckelsberg 13/2", "postalCode": "76669", "addressLocality": "Bad Schönborn", "addressRegion": "Baden-Württemberg", "addressCountry": "DE" }, "geo": { "@type": "GeoCoordinates", "latitude": 49.22167, "longitude": 8.65734 }, "areaServed": [ { "@type": "Place", "name": "Bad Schönborn", "url": "https://modern-stack.de/regionen/bad-schoenborn" }, { "@type": "Place", "name": "Mingolsheim", "alternateName": "Bad Mingolsheim", "url": "https://modern-stack.de/regionen/mingolsheim" }, { "@type": "Place", "name": "Langenbrücken", "alternateName": "Bad Langenbrücken", "url": "https://modern-stack.de/regionen/langenbruecken" }, { "@type": "Country", "name": "DE" }, { "@type": "Country", "name": "AT" }, { "@type": "Country", "name": "CH" } ], "knowsAbout": [ "Webseite-Modernisierung", "WordPress-Migration", "Generative Engine Optimization", "Lokale Sichtbarkeit Bad Schönborn" ], "founder": { "@id": "https://modern-stack.de/#person" } }, { "@type": "Person", "@id": "https://modern-stack.de/#person", "name": "Steve Baka", "jobTitle": "Gründer, Modern Stack", "url": "https://stevebaka.de", "email": "info@modern-stack.de", "telephone": "+4915225317285", "sameAs": [ "https://stevebaka.de", "https://www.linkedin.com/in/steve-baka/", "https://www.mallorca-expats.de", "https://geo-seo-aio.de" ], "worksFor": { "@id": "https://modern-stack.de/#organization" }, "knowsAbout": [ "Webseite-Modernisierung", "Generative Engine Optimization", "AI Search", "WordPress Migration", "Knowledge Graph", "Lokale Sichtbarkeit D-A-CH" ] }, { "@type": "WebPage", "@id": "https://modern-stack.de/glossar/crawlability#webpage", "url": "https://modern-stack.de/glossar/crawlability", "name": "Crawlability erklärt: Crawler-Zugang und lesbares HTML — Glossar | Modern Stack", "description": "Crawlability erklärt: Was Crawler und KI-Assistenten brauchen, um deine Seiten zu erreichen, welche Fehler sie blockieren und wie du robots.txt, Statuscodes und fertiges HTML richtig aufsetzt.", "isPartOf": { "@id": "https://modern-stack.de/#website" }, "about": { "@id": "https://modern-stack.de/glossar/crawlability#main" }, "breadcrumb": { "@id": "https://modern-stack.de/glossar/crawlability#breadcrumb" }, "dateModified": "2026-10-06T18:00:00+00:00", "inLanguage": "de-DE" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/crawlability#main", "name": "Crawlability erklärt: Crawler-Zugang und lesbares HTML — Glossar", "headline": "Crawlability erklärt: Crawler-Zugang und lesbares HTML — Glossar", "alternateName": "Crawlability", "description": "Crawlability beschreibt, ob Suchmaschinen-Crawler und KI-Assistenten deine Inhalte erreichen und lesen dürfen und können. Gesperrte Bots, fehlerhafte Statuscodes, Soft-404 und leere JavaScript-Hüllen verhindern sie.", "abstract": [ { "@value": "Crawlability beschreibt, ob Suchmaschinen-Crawler und KI-Assistenten deine Inhalte erreichen und lesen dürfen und können. Gesperrte Bots, fehlerhafte Statuscodes, Soft-404 und leere JavaScript-Hüllen verhindern sie.", "@language": "de" }, { "@value": "Crawlability describes whether search crawlers and AI assistants are allowed and able to reach and read your content. Blocked bots, wrong status codes, soft 404s and empty JavaScript shells prevent it.", "@language": "en" } ], "url": "https://modern-stack.de/glossar/crawlability", "inLanguage": [ "de-DE", "en" ], "datePublished": "2026-08-31T18:00:00+00:00", "dateModified": "2026-10-06T18:00:00+00:00", "author": { "@id": "https://modern-stack.de/#person" }, "publisher": { "@id": "https://modern-stack.de/#organization" }, "mainEntityOfPage": { "@id": "https://modern-stack.de/glossar/crawlability#webpage" }, "speakable": { "@type": "SpeakableSpecification", "cssSelector": [ ".gb-direct-answer", ".gb-faq-answer" ] }, "encoding": { "@type": "MediaObject", "encodingFormat": "text/markdown", "name": "English direct answer", "text": "Crawlability is the degree to which crawlers can access and read your pages. It requires permission (robots.txt, firewall), correct HTTP status codes, discoverable URLs (links, sitemap) and content present in the delivered HTML. If any link in that chain breaks, search and AI systems cannot use your page." }, "citation": [ "https://developers.google.com/search/docs/crawling-indexing/robots/intro", "https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers", "https://modern-stack.de/studie" ], "mentions": [ { "@type": "Article", "@id": "https://modern-stack.de/themen/technical-seo-basis#main", "name": "Technical-SEO-Basis", "alternateName": "Technical SEO foundation", "url": "https://modern-stack.de/themen/technical-seo-basis" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/ssr#main", "name": "SSR", "alternateName": "Server-Side Rendering", "url": "https://modern-stack.de/glossar/ssr" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/llms-txt-agenten#main", "name": "llms.txt für Agenten", "alternateName": "llms.txt for agents", "url": "https://modern-stack.de/themen/llms-txt-agenten" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/ssg#main", "name": "SSG", "alternateName": "Static Site Generation", "url": "https://modern-stack.de/glossar/ssg" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/robots-txt#main", "name": "robots.txt", "alternateName": "robots.txt", "url": "https://modern-stack.de/glossar/robots-txt" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/sitemap-xml#main", "name": "Sitemap", "alternateName": "XML sitemap", "url": "https://modern-stack.de/glossar/sitemap-xml" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/rag#main", "name": "RAG", "alternateName": "Retrieval-Augmented Generation", "url": "https://modern-stack.de/glossar/rag" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/indexnow#main", "name": "IndexNow", "alternateName": "IndexNow", "url": "https://modern-stack.de/glossar/indexnow" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/technical-seo#main", "name": "Technical SEO", "alternateName": "Technical SEO", "url": "https://modern-stack.de/glossar/technical-seo" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/soft-404#main", "name": "Soft 404", "alternateName": "Soft 404", "url": "https://modern-stack.de/glossar/soft-404" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/agent-ready-score#main", "name": "Agent-Ready-Score", "alternateName": "Agent-ready score", "url": "https://modern-stack.de/glossar/agent-ready-score" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/markdown-negotiation#main", "name": "Markdown-Negotiation", "alternateName": "Markdown negotiation", "url": "https://modern-stack.de/glossar/markdown-negotiation" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ssr-ssg-stack#main", "name": "SSR/SSG-Stack", "alternateName": "SSR/SSG stack", "url": "https://modern-stack.de/themen/ssr-ssg-stack" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/llms-txt#main", "name": "llms.txt", "alternateName": "llms.txt", "url": "https://modern-stack.de/glossar/llms-txt" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn#main", "name": "Beste Webdesign-Agenturen in Bad Schönborn 2026 — Ranking nach KI-Sichtbarkeit", "alternateName": "Best web design agencies in Bad Schönborn 2026 — ranked by AI visibility", "url": "https://modern-stack.de/themen/webdesign-agenturen-bad-schoenborn" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-dienstleister-studie#main", "name": "AI-Readiness deutscher Dienstleister-Webseiten — Studie, Zahlen und Handlungsbedarf", "alternateName": "AI readiness of German service-business websites — study, numbers and action", "url": "https://modern-stack.de/themen/ai-readiness-dienstleister-studie" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie#main", "name": "AI-Readiness in Bad Schönborn — lokale Studie zu Dienstleister-Webseiten", "alternateName": "AI readiness in Bad Schönborn — local study of service-business websites", "url": "https://modern-stack.de/themen/ai-readiness-bad-schoenborn-studie" }, { "@type": "Article", "@id": "https://modern-stack.de/themen/ai-readiness-bruchsal-studie#main", "name": "AI-Readiness in Bruchsal — lokale Studie zu Dienstleister-Webseiten", "alternateName": "AI readiness in Bruchsal — local study of service-business websites", "url": "https://modern-stack.de/themen/ai-readiness-bruchsal-studie" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/extrahierbarkeit#main", "name": "Extrahierbarkeit", "alternateName": "Extractability", "url": "https://modern-stack.de/glossar/extrahierbarkeit" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/canonical#main", "name": "Canonical", "alternateName": "Canonical URL", "url": "https://modern-stack.de/glossar/canonical" }, { "@type": "DefinedTerm", "@id": "https://modern-stack.de/glossar/nextjs#main", "name": "Next.js", "alternateName": "Next.js", "url": "https://modern-stack.de/glossar/nextjs" } ], "inDefinedTermSet": "https://modern-stack.de/glossar" }, { "@type": "BreadcrumbList", "@id": "https://modern-stack.de/glossar/crawlability#breadcrumb", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Startseite", "item": "https://modern-stack.de/" }, { "@type": "ListItem", "position": 2, "name": "Glossar", "item": "https://modern-stack.de/glossar" }, { "@type": "ListItem", "position": 3, "name": "Crawlability", "item": "https://modern-stack.de/glossar/crawlability" } ] }, { "@type": "FAQPage", "@id": "https://modern-stack.de/glossar/crawlability#faq", "mainEntity": [ { "@type": "Question", "name": "Sollen KI-Bots erlaubt sein?", "acceptedAnswer": { "@type": "Answer", "text": "Wenn du in KI-Antworten genannt werden willst, ja — gezielt und bewusst. Lege in der [[entity:robots-txt|robots.txt]] pro Bot fest, was erlaubt ist, und prüfe, dass Firewall oder Sicherheits-Plugin dieselben Bots nicht stillschweigend blockieren." } }, { "@type": "Question", "name": "Was ist eine Soft-404?", "acceptedAnswer": { "@type": "Answer", "text": "Eine Seite, die den Statuscode 200 liefert, inhaltlich aber „nicht gefunden“ oder leer ist. Suchsysteme erkennen das oft und werten die Seite als Fehler; für Assistenten ist sie wertloses Rauschen. [[entity:soft-404|Soft-404]] gehört korrekt als 404 oder 410 beantwortet." } }, { "@type": "Question", "name": "Schützt robots.txt Seiten vor der Indexierung?", "acceptedAnswer": { "@type": "Answer", "text": "Nein. Die robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte URL kann trotzdem ohne Inhalt im Index erscheinen, wenn andere Seiten darauf verlinken. Zum Ausschluss dient `noindex`, und die Seite muss dafür crawlbar sein." } } ] } ] } ```