KI-Suchen beantworten Fragen und nennen dabei Quellen. Damit Ihre Seite eine davon sein kann, müssen drei Dinge stimmen: Der passende Crawler darf sie abrufen, sie steht im Index der Suchmaschine, und ihr Inhalt ist ohne Umwege lesbar. Genau das prüft der Check oben. Ob Sie am Ende wirklich genannt werden, hängt zusätzlich davon ab, wie bekannt Ihre Marke ist. Das misst der LLM-Sichtbarkeits-Check.
Suche, Abruf, Training: drei Arten von Crawlern
Die Anbieter trennen inzwischen sauber, wofür sie Ihre Seiten lesen. Such-Crawler bauen den Index für Antworten, Abruf-Crawler holen eine Seite, wenn ein Nutzer gerade danach fragt, Trainings-Crawler sammeln Daten für neue Modelle. Jede Kennung steuern Sie in der robots.txt einzeln.
Quellen: Herstellerseiten von OpenAI (abgerufen 02.10.2026), Anthropic (Stand 07.04.2026), Perplexity (abgerufen 02.10.2026), Google (Stand 14.07.2026), Microsoft (Stand 22.09.2023), Apple (Stand 04.09.2026), Meta (abgerufen 02.10.2026) und Common Crawl (abgerufen 02.10.2026).
Training sperren, Suche erlauben
Trainings-Crawler sperren und Such-Crawler erlauben: Das geht mit getrennten Gruppen in der robots.txt. Wichtig: Eine eigene Gruppe für einen Crawler ersetzt für ihn die Gruppe „User-agent: *“. Regeln, die auch für ihn gelten sollen, gehören deshalb in seine Gruppe.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /
User-agent: *
Allow: /
Ausgewertet wird nach IETF (RFC 9309), so wie Google es liest: Die längste passende Regel gewinnt, bei Gleichstand gilt Allow. Ein Stern steht für beliebige Zeichen, ein Dollarzeichen am Ende für das Ende der Adresse. „Disallow: /“ zusammen mit „Allow: /$“ sperrt also alles bis auf die Startseite. Neue Regeln übernimmt OpenAI nach eigener Angabe nach rund 24 Stunden.
Google AI Overviews: Index und Snippet entscheiden
Laut Google Search Central gelten für AI Overviews und AI Mode keine Zusatzanforderungen: Eine Seite muss indexiert sein und mit Snippet in der Suche erscheinen dürfen. Eigene Dateien oder ein besonderes Schema braucht es dafür nicht. Ausschließen lassen sich Inhalte mit noindex, nosnippet, max-snippet und data-nosnippet. Google-Extended hat darauf keinen Einfluss.
Copilot und der Bing-Index
Microsoft Copilot stützt sich auf den Bing-Index, gelesen von Bingbot. Laut Microsoft Bing nimmt „noarchive“ eine Seite aus den Chat-Antworten, „nocache“ erlaubt dort nur Adresse, Titel und Snippet.
JavaScript: Was Crawler ohne Browser sehen
Eine Analyse von Vercel aus dem Dezember 2024 zeigt: Die Crawler von OpenAI, Anthropic und Perplexity führen kein JavaScript aus, Googlebot schon. Entsteht der Text Ihrer Seite erst im Browser, sehen die meisten KI-Crawler eine leere Hülle. Der Check zählt deshalb, wie viel Text direkt im HTML steht.
llms.txt, ehrlich eingeordnet
Die llms.txt nach llmstxt.org ist eine Markdown-Datei mit einer Überschrift und Links zu den wichtigsten Inhalten. Sie ist ein Vorschlag, kein Standard, und kein großer Anbieter bestätigt, dass seine Suche sie liest. Der Check prüft nur, ob eine vorhandene Datei gültig ist, und zählt sie mit einem Punkt.
So rechnet der Check
- Fünf Bereiche: Zugang für KI-Suchen, Indexierung und Snippet, Lesbarkeit für Maschinen, Firma und Vertrauen, zitierfähiger Inhalt.
- Gewichte je Seitentyp: Autor und Datum zählen nur bei Artikeln, Antwortabsätze nicht bei Produkt- und Kategorieseiten.
- Deckel bei K.-o.-Befunden: Steht eine Seite auf noindex, sperrt sie alle KI-Suchen aus oder besteht sie ohne JavaScript aus fast nichts, kann sie nicht gut abschneiden, egal wie der Rest aussieht.
- Faustregeln als solche benannt: Dass Antwortabsätze von 40 bis 170 Wörtern gut zitierbar sind, ist Erfahrung aus der Praxis, keine Herstellerangabe. Der Check sagt das dazu.
Sie wollen das nicht selbst umsetzen? Wir übernehmen Freigaben, strukturierte Daten und Inhalte als KI-Sichtbarkeit für Ihre Website.
Häufige Fragen
Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?
Nein. GPTBot sammelt laut OpenAI Daten für das Training. Für die ChatGPT-Suche ist OAI-SearchBot zuständig, und OpenAI schreibt ausdrücklich, dass jede Einstellung unabhängig von den anderen gilt. Wer GPTBot sperrt und OAI-SearchBot erlaubt, kann weiter in Suchantworten erscheinen.
Nimmt Google-Extended meine Seite aus den AI Overviews?
Nein. Laut Google beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking. Es steuert, ob Inhalte für das Training von Gemini und als Quelle in Gemini-Apps genutzt werden. Für AI Overviews und AI Mode muss eine Seite indexiert sein und ein Snippet zeigen dürfen. Ausschließen lässt sie sich dort nur mit noindex, nosnippet, max-snippet oder data-nosnippet.
Brauche ich eine llms.txt?
Nein. Die llms.txt ist ein Vorschlag von llmstxt.org, kein Standard. Kein großer Anbieter hat bestätigt, dass seine Suche sie auswertet, und Google schreibt, dass für AI Overviews keine solchen Dateien nötig sind. Schaden kann eine gepflegte Datei nicht. Im Check zählt sie deshalb nur einen Punkt.
Warum meldet der Check eine Firewall, obwohl meine robots.txt alles erlaubt?
Weil wir zusätzlich mit den Kennungen von OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot und Perplexity-User anfragen. Weist Ihr Server diese Anfragen ab, obwohl er Browser durchlässt, filtert eine Firewall oder ein Bot-Schutz nach Kennung. Manche Schutzsysteme lassen die echten Crawler anhand ihrer Absenderadressen trotzdem durch. Gewissheit gibt Ihr Server-Protokoll.
Werden meine Adresse und das Ergebnis gespeichert?
Wir legen keine Datenbank mit geprüften Adressen an. Um Abfragen zu begrenzen, zählen wir je Netz einen nicht umkehrbaren Kurzwert, nicht die IP-Adresse selbst. Unsere Nutzungsstatistik erfasst, dass eine Prüfung lief und wie sie ausging, ohne die geprüfte Adresse. Öffnen Sie einen geteilten Link mit ?url=, steht die Adresse wie bei jedem Seitenaufruf in der Statistik. Ihr Browser merkt sich die letzten Ergebnisse, damit Sie Veränderungen sehen; das bleibt auf Ihrem Gerät.
Worin unterscheidet sich der Check vom LLM-Sichtbarkeits-Check?
Dieser Check prüft Ihre Website: ob KI-Suchen sie abrufen und zitieren dürfen und ob sie dort Zitierbares finden. Der LLM-Sichtbarkeits-Check misst, wie bekannt Ihre Marke außerhalb der Website ist. Das eine sind die Voraussetzungen, das andere die Nennungen.
