Blockiert Cloudflare ChatGPT? So prüfen Sie, ob KI-Suchmaschinen Ihre Website lesen dürfen

Ai Gens · 7. November 2026 · 3 Min. Lesezeit

Kurz gesagt: Ob ChatGPT, Perplexity oder Claude Ihre Website zitieren können, entscheidet zuerst, ob deren Such-Crawler Ihre Seiten überhaupt abrufen dürfen. Cloudflare blockiert KI-Crawler bei vielen, vor allem neueren Websites standardmäßig. Prüfen Sie deshalb zwei Stellen: Ihre robots.txt und die Cloudflare-Einstellung „AI Crawl Control“. Erlauben Sie die Such-Crawler; die reinen Trainings-Crawler dürfen Sie sperren.

Such-Crawler und Trainings-Crawler: der wichtige Unterschied

Die großen KI-Anbieter nutzen inzwischen getrennte Crawler. Die einen sammeln Inhalte für das Training von Sprachmodellen, die anderen holen Seiten in Echtzeit, um eine Frage mit Quellenlink zu beantworten.

Crawler	Anbieter	Zweck	Empfehlung
OAI-SearchBot	OpenAI	ChatGPT-Suche, Antworten mit Link	erlauben
ChatGPT-User	OpenAI	ruft Seiten ab, wenn ein Nutzer fragt	erlauben
PerplexityBot	Perplexity	Antworten mit Quellen	erlauben
Claude-SearchBot	Anthropic	Claude-Suche	erlauben
Bingbot	Microsoft	Bing und Copilot	erlauben
Googlebot	Google	Google-Suche und KI-Übersichten	erlauben
GPTBot	OpenAI	Modell-Training	nach Wahl
ClaudeBot	Anthropic	Modell-Training	nach Wahl
Google-Extended	Google	Gemini-Training	nach Wahl
CCBot	Common Crawl	Trainingsdaten	nach Wahl

Wer die Trainings-Crawler sperrt, verliert keine Sichtbarkeit in der KI-Suche. Wer die Such-Crawler sperrt, wird dort nicht zitiert.

Warum Cloudflare das Problem oft verursacht

Cloudflare hat das Blockieren von KI-Crawlern zur Standardeinstellung gemacht, zunächst als Schalter, später als Voreinstellung für neue Domains. Diese Sperre greift an Cloudflares Netz, also bevor Ihre robots.txt überhaupt gelesen wird. Ihre robots.txt kann alles erlauben, und trotzdem bekommt der Crawler nur eine Fehlerseite (meist Status 403).

Dazu kommt die von Cloudflare verwaltete robots.txt: Cloudflare kann Regeln für KI-Crawler automatisch voranstellen und „Content Signals“ setzen, etwa search=yes, ai-train=no. Das ist sinnvoll, sollte aber bewusst eingestellt sein.

So wird es geprüft

robots.txt ansehen: Rufen Sie https://ihre-domain.de/robots.txt auf. Steht dort bei OAI-SearchBot, PerplexityBot oder Claude-SearchBot ein Disallow: /, sind diese Crawler ausgesperrt.
Abruf mit Crawler-Kennung testen: Im Terminal zum Beispiel curl -I -A "OAI-SearchBot/1.0" https://ihre-domain.de/. Kommt 403 statt 200 zurück, blockiert vermutlich Cloudflare. (Der Test kommt nicht von der echten Crawler-Adresse; er ist ein starker Hinweis, kein Beweis.)
Cloudflare-Dashboard öffnen: Domain auswählen, dann „AI Crawl Control“ (je nach Konto auch unter „Security“ oder „Bots“). Dort sehen Sie pro Crawler, ob er erlaubt oder blockiert ist, und wie oft er Ihre Seite besucht hat.
Such-Crawler erlauben: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot auf „Allow“ stellen. Trainings-Crawler nach Ihrer Entscheidung.
Bing melden: In Cloudflare „Crawler Hints“ aktivieren. Dann meldet Cloudflare Änderungen per IndexNow automatisch an Bing.

Eine robots.txt, die beides trennt

User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Lassen Sie es prüfen

Die Einstellungen liegen an mehreren Stellen: robots.txt, Cloudflare, Server, Sicherheits-Plugins. Cloudflare ändert seine Voreinstellungen regelmäßig, und ein falscher Schalter sperrt auch Google oder Bing aus. Wir prüfen, ob ChatGPT, Perplexity, Claude und Google Ihre Website lesen dürfen, richten es richtig ein und messen, ob Sie in KI-Antworten genannt werden: Kontakt aufnehmen.

Häufige Fragen

Verliere ich Google-Rankings, wenn ich GPTBot sperre?

Nein. GPTBot ist nur für das Training von OpenAI-Modellen zuständig. Google-Suche und Google-KI-Übersichten nutzen den Googlebot; das Gemini-Training lässt sich separat über Google-Extended steuern.

Reicht es, die robots.txt anzupassen?

Nicht, wenn Cloudflare die Crawler schon vorher blockiert. Prüfen Sie immer auch die Cloudflare-Einstellung.

Woran sehe ich, ob die Änderung wirkt?

Im Cloudflare-Dashboard unter „AI Crawl Control“ tauchen erfolgreiche Abrufe der Crawler auf. Zitierungen in KI-Antworten zeigen sich mit Verzögerung; Bing Webmaster Tools zeigt inzwischen einen eigenen Bericht dazu.

Quellen

Sie möchten wissen, wie sichtbar Ihr Unternehmen in Google und KI-Antworten ist?

Wir prüfen Ihre Website, Ihre Rankings und ob ChatGPT Sie nennt, und zeigen die wichtigsten nächsten Schritte.

Kostenloses Erstgespräch

Ai Gens
Digitalagentur für KI-Automatisierung, Websites und Marketing für Unternehmen in Deutschland, Österreich und der Schweiz.