Cloudflare prüft jetzt, ob Bots deine robots.txt einhalten: Was das Bewertungssystem für verifizierte Bots bringt und wie du KI-Crawler mit Cloudflare steuerst

01 / Was neu ist

Was Cloudflare am 16. Oktober angekündigt hat.

Cloudflare führt eine Liste sogenannter verifizierter Bots. Bisher hieß das vor allem: Der Betreiber ist bekannt und der Bot weist sich sauber aus. Im Blogbeitrag „Continuous accountability for Verified bots“ beschreibt Cloudflare nun den nächsten Schritt. Ein Führerschein sage, wer jemand ist, aber nicht, ob er künftig vernünftig fährt, heißt es dort sinngemäß [1].

Deshalb misst Cloudflare, wie konsequent ein verifizierter Bot die Wünsche von Website-Betreibern respektiert. Daraus entsteht ein „Trust Band“: eine Spanne statt einer festen Zahl, die zeigt, wie zuverlässig sich ein Bot verhält und welche Beobachtungen dazu geführt haben. Ein endgültiges Urteil über Bot oder Betreiber soll das ausdrücklich nicht sein [1].

Zum Start schaut Cloudflare auf zwei Signale [1]:

• robots.txt: Passt der beobachtete Traffic eines Bots über längere Zeit zu dem, was in deiner robots.txt steht? Maßstab ist RFC 9309, der Standard für das Robots Exclusion Protocol [1][12]. Einzelne Ausrutscher zählen kaum, es geht um wiederkehrende Muster [1].
• HTTP 429: Antwortet dein Server mit „Too Many Requests“, soll der Bot langsamer werden oder pausieren. Wer das regelmäßig tut, steigt im Vertrauen; wer es wiederholt ignoriert, sinkt [1].

Ein Satz aus dem Beitrag ist für Website-Betreiber besonders interessant: Die robots.txt legt laut Cloudflare nur Mindestregeln fest. Was dort nicht verboten ist, gilt nicht automatisch als erlaubt [1]. Dass Cloudflare hart durchgreifen kann, zeigt ein früherer Fall: 2025 hat das Unternehmen den Bot von Perplexity von der Liste der verifizierten Bots genommen, weil er gesperrte Inhalte abrufen wollte und Sperren umging [1].

02 / Einordnung

Was „verifiziert“ heißt und was die Bewertung noch nicht leistet.

Laut Cloudflare-Doku muss ein verifizierter Bot zwei Hürden nehmen. Erstens ehrliche Identifikation: Er weist sich eindeutig aus, per kryptografischer Signatur (Web Bot Auth), über eine veröffentlichte IP-Liste mit festem User-Agent oder per Reverse DNS. Zweitens kein Missbrauch: Er befolgt robots.txt und Crawl-Anweisungen, hält vernünftige Abrufraten ein und ist nicht dabei aufgefallen, Vorgaben zu umgehen oder Websites anzugreifen [3].

Cloudflare ordnet jeden Bot außerdem nach seinem Verhalten ein, etwa Suche, Agent (handelt im Auftrag eines Menschen), Training, SEO, Link-Vorschau oder Monitoring [3]. Welche Bots verifiziert sind und wie sie eingeordnet werden, kannst du im öffentlichen Bots-Verzeichnis auf Cloudflare Radar nachsehen [11].

Bei der neuen Bewertung lohnt ein nüchterner Blick auf das, was noch fehlt:

• Nur intern: Cloudflare nutzt das System bisher selbst, um Verlaufsdaten zu sammeln. Öffentliche Werte auf Radar und frei wählbare Schwellenwerte für alle Kunden sind angekündigt, ein Termin fehlt [1][2].
• Kriterien offen: Wie viele Stufen es gibt, wie lange beobachtet wird und ab wann ein Bot absteigt, steht nicht im Beitrag. Offen ist auch, was „Behandlung“ des Traffics später konkret heißt, also Sperren, Bremsen oder nur Protokollieren [2].
• Nur verifizierte Bots: Die Bewertung betrifft Bots auf Cloudflares Liste. Scraper, die sich als normaler Browser ausgeben, erfasst sie nicht. Dafür bleibt die klassische Bot-Erkennung zuständig (Einschätzung).

Meine Einschätzung: Die Bewertung ist ein sinnvoller Schritt, weil eine robots.txt allein nur eine Bitte ist. Das schreibt Cloudflare auch in der eigenen Doku: Die Einhaltung ist freiwillig, manche Betreiber crawlen trotzdem [6]. Ändern musst du wegen der Ankündigung heute aber nichts.

03 / Kostenlose Funktionen

Welche KI-Crawler-Funktionen der kostenlose Cloudflare-Plan bietet.

Unabhängig vom Trust Band gibt es bei Cloudflare bereits Werkzeuge, die auch im Free-Plan funktionieren. Ich habe die aktuelle Doku vom 19. Oktober zugrunde gelegt.

AI Crawl Control: sehen und einzeln sperren

AI Crawl Control (früher AI Audit) steht laut Cloudflare in allen Plänen zur Verfügung [4]. Im Reiter „Crawlers“ siehst du, welche KI-Crawler deine Seiten abrufen, wie viele Anfragen sie stellen und wie oft sie gegen deine robots.txt verstoßen haben. Für jeden Crawler wählst du „Allow“ oder „Block“; beim Sperren legt Cloudflare automatisch eine WAF-Regel an [5]. Der Reiter „Directives“ zeigt, ob deine robots.txt erreichbar ist und welche Crawler sie missachten [10].

Zwei Funktionen sind nicht kostenlos oder noch nicht allgemein verfügbar: Eine eigene Antwort an gesperrte Crawler (Statuscode 403 oder 402 und eigener Text) gibt es nur in bezahlten Plänen. „Pay per Crawl“, also Geld für Abrufe verlangen, ist noch eine private Beta [5].

Search, Training, Agent: drei Regler statt „Block AI Bots“

Seit dem 15. September steuerst du KI-Traffic in den Sicherheitseinstellungen deiner Domain über drei Kategorien: Search, Training und Agent. Der alte Schalter „Block AI Bots“ wird zugunsten dieser Regler abgelöst [7]. Die Optionen [7]:

• Allow: alles erlaubt, solange keine andere Regel greift.
• Disallow AI Training (nur bei Training): Cloudflare schreibt ein „kein Training“ in deine robots.txt. Reine Trainings-Crawler, etwa die von Amazon, Anthropic, Meta und OpenAI, werden gesperrt. Googlebot, Applebot und Bingbot dürfen für die Suche weiter crawlen.
• Block on pages with ads: Sperre nur auf Seiten, auf denen Werbung erkannt wird.
• Block: alles sperren, und zwar seit dem 15. September auch Googlebot, Applebot und Bingbot. Damit verlierst du die Suche. Für die meisten KMU ist das der falsche Regler (Einschätzung).

Eine Einschränkung nennt Cloudflare selbst: Microsoft will ein „kein Training“ in der robots.txt erst ab Anfang 2027 auswerten. Bis dahin kommt deine Training-Präferenz über diesen Weg bei Bing nicht an [7].

Bot Preference Sync: robots.txt passend zu deinen Einstellungen

Bot Preference Sync löst die frühere „managed robots.txt“ ab und ist in allen Plänen verfügbar [7][8]. Cloudflare schreibt dann die passenden Regeln vor deine bestehende robots.txt; deine eigenen Einträge bleiben erhalten. Hast du keine robots.txt, legt Cloudflare eine an [6]. Der Vorteil: Was du ankündigst und was Cloudflare tatsächlich sperrt, passt zusammen [8].

Laut Doku gehst du dafür in den Sicherheitseinstellungen auf den Filter „Bot traffic“, wählst „Configure AI bot policies“, stellst Training auf „Disallow“, schaltest „Enable Bot Preference Sync“ ein und speicherst [6].

04 / Shopify und WordPress

Was heißt das für deinen Shopify-Shop oder deine WordPress-Website?

Alle beschriebenen Sperren wirken nur, wenn der Traffic deiner Website über Cloudflare läuft, also über den Proxy (in Cloudflare „Proxied“, die orange Wolke). Ob das bei dir geht, hängt vom System ab.

Shopify: Cloudflare nur für DNS

Shopify unterstützt den Cloudflare-Proxy nicht. In der Anleitung zum Verbinden einer Cloudflare-Domain verlangt Shopify, alle Einträge, die auf den Shop zeigen, auf „DNS only“ zu stellen; Proxy-Setups einschließlich „Orange-to-Orange“ werden nicht unterstützt [9]. Damit laufen Besucher und Bots an Cloudflare vorbei, und AI Crawl Control oder die Training-Sperre greifen für deinen Shop nicht (Einschätzung, folgt aus der Funktionsweise des Proxys).

Als Shopify-Händler bleibt dir die robots.txt deines Shops als Signal an gut erzogene Crawler. Wie du dort einzelne KI-Crawler ausschließt, ohne Link-Vorschauen zu verlieren, habe ich am Beispiel der Meta-Crawler beschrieben: Meta-Crawler ab 30. Oktober per robots.txt steuern. Die neue Cloudflare-Bewertung hilft dir indirekt trotzdem, sobald die Werte auf Radar öffentlich sind: Dann siehst du, welche Bots sich an solche Regeln halten (Einschätzung).

WordPress: Cloudflare davorschalten

Eine WordPress-Website auf eigenem Hosting kannst du in der Regel über Cloudflare ausliefern. Dann stehen dir die Funktionen aus Abschnitt 03 auch im Free-Plan zur Verfügung [4][6][7]. Vor dem Umzug der Nameserver würde ich prüfen, ob dein Hoster bereits ein eigenes CDN oder eine Firewall davorsetzt und ob Caching-Plugins mit Cloudflare zusammenspielen (Einschätzung).

Bevor du sperrst, solltest du entscheiden, was du willst. Cloudflare nennt selbst das Beispiel eines Onlinehändlers, der möglichst überall gecrawlt werden möchte, damit seine Produkte in Chatbot-Antworten auftauchen [8]. Für viele lokale Unternehmen in Hamburg gilt Ähnliches: Wer in KI-Antworten genannt werden will, sollte Such- und Agent-Bots nicht aussperren. Wie Sichtbarkeit in KI-Antworten entsteht, erkläre ich in GEO-Optimierung.

05 / Empfehlung

Meine Empfehlung für kleine Unternehmen.

Für die meisten KMU-Websites, die über Cloudflare laufen, halte ich diese Einstellung für einen guten Ausgangspunkt (Einschätzung):

1. Search auf Allow: Suchmaschinen und KI-Suchen sollen dich finden. Laut Cloudflare sperren weniger als 1 Prozent der Cloudflare-Websites Such-Bots [7].
2. Training nach Bedarf: Wenn du eigene Texte, Fotos oder Anleitungen schützen willst, nimm „Disallow AI Training“, nicht „Block“. Rund 17 Prozent der Cloudflare-Websites nutzen laut Cloudflare irgendeine Sperre gegen Training [7].
3. Agent auf Allow: Agents rufen Seiten im Auftrag echter Menschen ab, etwa wenn jemand einen Chatbot bittet, deine Öffnungszeiten oder Preise nachzuschlagen [3][7].
4. Bot Preference Sync an: damit robots.txt und Sperren übereinstimmen [8].
5. Einmal im Monat in AI Crawl Control schauen: Welche Crawler kommen, wer verstößt gegen die robots.txt [5][10]?

Sobald Cloudflare die Trust-Schwellenwerte für Kunden freischaltet, kommt ein sechster Punkt dazu: festlegen, ab welcher Bewertung verifizierte Bots noch durchgelassen werden. Ich werde den Beitrag aktualisieren, wenn es dazu Details gibt.

FAQ

Häufige Fragen zu Cloudflare und KI-Crawlern.

Kann ich das Trust Band schon nutzen?

Nein. Cloudflare setzt das System bislang nur intern ein. Öffentliche Werte auf Radar und Schwellenwerte für Kunden sind angekündigt, ein Datum gibt es nicht [1][2].

Verliere ich Google-Rankings, wenn ich KI-Training sperre?

Mit „Disallow AI Training“ darf Googlebot weiter für die Suche crawlen; gesperrt wird nur das Training über Google-Extended. Google hat laut Cloudflare erklärt, dass das Sperren von Google-Extended das Ranking nicht beeinflusst [7]. Anders beim Regler „Block“: Der sperrt seit dem 15. September auch Googlebot [7].

Reicht eine robots.txt ohne Cloudflare?

Sie ist ein Signal, keine Sperre. Seriöse Crawler halten sich daran, technisch verhindert sie aber keinen Abruf [6]. Auf Shopify ist sie trotzdem dein wichtigstes Werkzeug, weil der Cloudflare-Proxy dort nicht vorgesehen ist [9].

Quellen

Quellen

1. Cloudflare Blog (Chris Tsoukaladelis): „Continuous accountability for Verified bots“, 16. Oktober 2026 – blog.cloudflare.com · abgerufen 19.10.2026.
2. PPC Land: „Cloudflare Verified bots face trust scores for ignoring site rules“, Oktober 2026 – ppc.land · abgerufen 19.10.2026.
3. Cloudflare Docs: „Verified bots“, Stand 8. Oktober 2026 – developers.cloudflare.com · abgerufen 19.10.2026.
4. Cloudflare Docs: „AI Crawl Control“ (Überblick), Stand 14. August 2026 – developers.cloudflare.com · abgerufen 19.10.2026.
5. Cloudflare Docs: „Manage AI crawlers“, Stand 28. Juli 2026 – developers.cloudflare.com · abgerufen 19.10.2026.
6. Cloudflare Docs: „robots.txt setting“, Stand 8. Oktober 2026 – developers.cloudflare.com · abgerufen 19.10.2026.
7. Cloudflare Blog (Bryan Becker): „Have it both ways: stay discoverable in search while disallowing AI training“, 15. September 2026 – blog.cloudflare.com · abgerufen 19.10.2026.
8. Cloudflare Blog: „Say it once: introducing Bot Preference Sync“, 2026 – blog.cloudflare.com · abgerufen 19.10.2026.
9. Shopify Help Center: „Connecting a Cloudflare domain to Shopify“ – help.shopify.com · abgerufen 19.10.2026.
10. Cloudflare Docs: „Directives“ (AI Crawl Control), Stand 23. April 2026 – developers.cloudflare.com · abgerufen 19.10.2026.
11. Cloudflare Radar: „Bots Directory“ – radar.cloudflare.com/bots/directory · abgerufen 19.10.2026.
12. IETF / RFC Editor: „RFC 9309: Robots Exclusion Protocol“, September 2022 – rfc-editor.org · abgerufen 19.10.2026.

Alle Quellen am 19. Oktober 2026 abgerufen. Aussagen ohne belastbare Quelle sind im Text als Einschätzung gekennzeichnet; die Ziffern in eckigen Klammern verweisen auf die Nummern dieser Liste.