Das Wichtigste vorweg
Ab dem 30. Oktober 2026 erlauben die neuen Meta Commercial Terms, dass Meta die Websites aller Geschäftskunden crawlt und die Inhalte auch zum Training nutzt, nicht mehr nur bei Werbekunden [2][3]. Meta verweist zur Steuerung auf die robots.txt: Mit meta-externalagent sperrst du das KI-Training, mit meta-webindexer erlaubst du die Meta-AI-Suche [1]. Ob deine robots.txt die vertragliche Zustimmung tatsächlich begrenzt, ist offen [3][4].
01 / Was sich ändert
Was in den neuen Bedingungen steht.
Meta hat seine Commercial Terms überarbeitet, die neue Fassung gilt ab dem 30. Oktober 2026 [2]. Diese Bedingungen gelten für jede geschäftliche Nutzung von Facebook, Instagram und den übrigen Meta-Produkten. Meta zählt dazu ausdrücklich Anzeigen und Marketing-Nachrichten, das Verkaufen oder Listen von Produkten, Produktkataloge, das Verwalten einer Seite, Gruppen für geschäftliche Zwecke sowie Werkzeuge wie den Werbeanzeigenmanager oder die Meta Business Suite [2].
Neu ist ein Absatz zum Crawling. Laut dem von Nieman Lab vollständig zitierten Wortlaut erlaubst du Meta damit, mit automatisierter Software wie Scrapern, Bots und Crawlern die Domains, Seiten und URLs abzurufen, die mit deinen Produkten oder Dienstleistungen verbunden sind oder über die Nutzung von Meta-Produkten verfügbar gemacht werden [4]. Meta darf dafür auch Test-Zugangsdaten anlegen und regelmäßig Aktualisierungen abholen. Die Inhalte darf Meta nutzen, um seine Produkte bereitzustellen, zu entwickeln, zu verbessern, zu erforschen und zu trainieren [4].
Wer Meta weiter geschäftlich nutzt, stimmt den neuen Bedingungen damit zu. Wer nicht zustimmen will, kann laut den Bedingungen nur aufhören, Meta-Produkte geschäftlich zu nutzen [3]. Für ein Hamburger Café mit Facebook-Seite oder einen Shopify-Shop mit Instagram-Katalog ist das kaum eine echte Wahl.
02 / Was wirklich neu ist
Werbekunden hatten diese Klausel schon. Neu ist der Kreis der Betroffenen.
Search Engine Journal hat die alten und neuen Fassungen verglichen [3]. Das Ergebnis: Die bisherigen Commercial Terms vom 6. März 2024 enthalten keine Crawling-Klausel. Die Self-Serve Ad Terms vom 22. August 2025 erlauben Meta aber schon heute, die Domains von Werbekunden zu crawlen, unter anderem für „research and training“. Auch die Bedingungen für KI-Werbemittel, für Produktkataloge und das Seller Agreement erlauben bereits automatisierte Abrufe von URLs, die du Meta selbst übergibst [3].
Wenn du Anzeigen schaltest, hat sich also wenig geändert. Neu ist, dass die Erlaubnis jetzt an jede geschäftliche Nutzung geknüpft ist, also auch an eine Facebook-Seite ohne Werbebudget [3]. Und sie umfasst nicht mehr nur Adressen, die du selbst angibst, sondern auch URLs, die über die Nutzung von Meta-Produkten durch andere verfügbar werden [3][4]. Dieselbe Klausel steht laut SEJ auch in den überarbeiteten Self-Serve Ad Terms, die ebenfalls am 30. Oktober in Kraft treten [3].
Meta selbst spielt die Änderung herunter. Sprecher Andy Stone schrieb am 16. Oktober auf X, es gehe darum, korrekte Produktinformationen von Händler-Websites für Anzeigen- und Inhaltsempfehlungen zu bekommen, nicht um das Scrapen von Nachrichtenseiten [3]. Das passt zu dem, was ich gestern zum Produkt-Browsing in Meta-Anzeigen beschrieben habe: Meta will Produktseiten direkt auslesen können. Gegenüber Nieman Lab sagte ein Sprecher außerdem, Content-Inhaber könnten den Zugriff weiterhin per robots.txt steuern [3].
03 / Die Crawler
Welche Meta-Crawler es gibt und welche sich an die robots.txt halten.
Meta dokumentiert seine Crawler auf einer eigenen Entwicklerseite, zuletzt aktualisiert am 21. Mai 2026 [1]. Für die Steuerung sind fünf User-Agents wichtig:
- meta-externalagent: Crawlt laut Meta für Zwecke wie das Training von KI-Grundmodellen oder die Verbesserung von Produkten, indem Inhalte direkt indexiert werden [1]. Das ist der Crawler, den du sperrst, wenn du kein KI-Training willst.
- meta-webindexer: Verbessert die Suchergebnisse von Meta AI. Meta schreibt, dass das Zulassen dieses Crawlers hilft, deine Inhalte in Antworten von Meta AI zu zitieren und zu verlinken [1].
- meta-externalads: Crawlt für Zwecke wie die Verbesserung von Werbung und anderen geschäftlichen Produkten [1].
- meta-externalfetcher: Ruft einzelne Links auf Anfrage eines Nutzers ab, etwa wenn ein KI-Agent für jemanden eine Website bedient. Meta schreibt ausdrücklich, dass dieser Crawler die robots.txt umgehen kann [1].
- facebookexternalhit: Ruft Seiten ab, die auf Facebook, Instagram oder im Messenger geteilt werden, und holt Titel, Beschreibung und Vorschaubild [1]. Bei Sicherheits- und Integritätsprüfungen, etwa auf Schadsoftware, kann er die robots.txt umgehen [1].
Daraus folgt eine wichtige Regel: facebookexternalhit solltest du nicht sperren. Meta beschreibt ihn als den Crawler, der die Informationen für geteilte Links sammelt und anzeigt [1]. Wenn du ihn aussperrst, fehlen also Titel und Vorschaubild, sobald jemand deinen Shop oder Blogbeitrag teilt. Meta nennt das in der Doku nicht wörtlich so, es ergibt sich aber aus der Beschreibung (Einschätzung).
Bei meta-externalads würde ich als Werbekunde vorsichtig sein. Wenn Meta deine Produktseiten für Anzeigen auslesen soll, etwa für das Produkt-Browsing, ist eine Sperre vermutlich kontraproduktiv (Einschätzung). Wer keine Anzeigen schaltet, kann ihn sperren.
04 / Umsetzung
So steuerst du die Meta-Crawler in Shopify und WordPress.
Für die meisten kleinen Unternehmen passt diese Variante: KI-Training sperren, Meta-AI-Suche und Link-Vorschauen erlauben. Meta zeigt in seiner Doku das Format mit User-agent, Allow und Disallow [1]. Die Regeln für deine Website sehen so aus:
User-agent: meta-externalagent
Disallow: /
User-agent: meta-webindexer
Allow: /
User-agent: facebookexternalhit
Allow: /Wer gar nicht in Meta AI auftauchen will, setzt auch bei meta-webindexer ein Disallow: /. Bedenke dabei, dass du damit auf Zitate und Links in Meta-AI-Antworten verzichtest [1]. Wie KI-Suchen Quellen auswählen, habe ich im Beitrag zur GEO-Optimierung beschrieben. Meta weist außerdem darauf hin, dass Crawler die robots.txt bis zu 24 Stunden zwischenspeichern; Änderungen wirken also nicht sofort [1].
Shopify: robots.txt.liquid anlegen
Shopify erzeugt für jeden Shop eine Standard-robots.txt. Ändern kannst du sie nur über die Vorlage robots.txt.liquid: Im Admin unter Onlineshop › Themes beim aktiven Theme auf die drei Punkte › Code bearbeiten, dann „Neue Vorlage hinzufügen“ und „robots“ wählen [5]. Shopify empfiehlt, die Standardregeln per Liquid beizubehalten und eigene Regeln darunter zu ergänzen, damit Shopify die Datei künftig weiter aktualisieren kann [5][6]. Die Vorlage sieht dann etwa so aus:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
User-agent: meta-externalagent
Disallow: /
User-agent: meta-webindexer
Allow: /Shopify schreibt selbst, dass Änderungen an dieser Datei Erfahrung mit Code und SEO voraussetzen [5]. Vergleiche vor dem Speichern deine aktuelle robots.txt mit der neuen Ausgabe [6]. Und noch ein Hinweis aus der Shopify-Hilfe: Wenn du über agentische Verkaufskanäle wie ChatGPT verkaufst, laufen deine Produktdaten über den Shopify Catalog, unabhängig von der robots.txt [5].
WordPress: Datei oder Plugin
WordPress erzeugt eine virtuelle robots.txt über die Funktion do_robots(), Plugins können die Ausgabe über den Filter robots_txt ändern [7]. In der Praxis hast du zwei Wege: Entweder du ergänzt die Regeln im robots.txt-Editor deines SEO-Plugins, oder du legst eine echte Datei robots.txt im Hauptverzeichnis der Installation ab. Eine echte Datei liefert der Webserver in der Regel direkt aus, die virtuelle Version von WordPress greift dann nicht mehr (Einschätzung). Nutze deshalb nur einen der beiden Wege, sonst wunderst du dich, warum Änderungen im Plugin nicht ankommen.
05 / Prüfen und Grenzen
Wie du prüfst, ob es wirkt, und was die robots.txt nicht leistet.
Zuerst rufst du deinedomain.de/robots.txt im Browser auf und schaust, ob die neuen Regeln dort stehen. Danach lohnt der Blick ins Server-Log. Bei WordPress stellt dir der Hoster die Zugriffsprotokolle meist im Kundenbereich bereit. Dort suchst du nach den User-Agents aus der Meta-Doku, zum Beispiel meta-externalagent/1.1 [1]. Taucht der Crawler nach mehr als 24 Stunden noch mit Abrufen normaler Seiten auf, stimmt etwas nicht. Abrufe der robots.txt selbst sind normal.
Bei Shopify hast du nach meiner Kenntnis keinen Zugriff auf rohe Server-Logs; die Bot-Abwehr auf Netzwerkebene übernimmt Shopify selbst [5]. Hier bleibt dir nur die Kontrolle der robots.txt-Ausgabe (Einschätzung). Beachte außerdem, dass sich jeder Bot als Meta-Crawler ausgeben kann. Meta empfiehlt für Freigabelisten deshalb, statt der User-Agents besser die IP-Adressen zu prüfen [1].
Jetzt zur wichtigsten Grenze. Weder die neuen Commercial Terms noch die neuen Ad Terms erwähnen die robots.txt [3]. Drei von Nieman Lab befragte Juristen sehen in der Formulierung einen möglichen Ansatz für Meta, zu argumentieren, dass die Bedingungen andere Sperrsignale überlagern [3][4]. Der Anwalt Matt Topic sagte, es sei unklar, ob ein Gericht die Klausel durchsetzen würde, man solle aber davon ausgehen [4]. Rechtsprofessor James Grimmelmann wies darauf hin, dass Test-Zugangsdaten technisch auch Registrierungsschranken überwinden könnten; Meta wollte nicht sagen, ob das auch Bezahlschranken betrifft [3].
Ob die robots.txt deine vertragliche Zustimmung tatsächlich einschränkt, ist also offen. Der European Publishers Council wendet sich laut SEJ wegen der neuen Bedingungen an die EU-Kommission [3]. Das hier ist keine Rechtsberatung. Wenn deine Inhalte das eigentliche Produkt sind, etwa bei Verlagen, Kursanbietern oder Fotografen, solltest du die Bedingungen mit einer Anwältin oder einem Anwalt für IT-Recht prüfen. Für die meisten Shops und Dienstleister ist die robots.txt der praktische Hebel, den Meta selbst nennt, und den solltest du vor dem 30. Oktober setzen.
KI-Crawler-Check
Welche KI-Crawler sollen auf deine Website?
Ich prüfe deine robots.txt in Shopify oder WordPress, stimme die Regeln für Meta, OpenAI, Google und andere KI-Crawler auf deine Ziele ab und kontrolliere die Wirkung in den Logs.
FAQ
Häufige Fragen zu den Meta-Crawlern.
Betrifft mich die Änderung, wenn ich keine Anzeigen schalte?
Ja, wenn du Meta geschäftlich nutzt, etwa mit einer Facebook-Seite oder der Business Suite. Genau das ist neu gegenüber den bisherigen Werbebedingungen [2][3].
Verschlechtert eine Sperre von meta-externalagent meine Google-Rankings?
Nein. Die Regel gilt nur für den genannten Meta-Crawler; Googlebot ist davon nicht betroffen (Einschätzung auf Basis der robots.txt-Logik, Regeln gelten je User-Agent [6]).
Kann ich auch meta-externalfetcher sperren?
Eintragen kannst du ihn, Meta schreibt aber, dass dieser Crawler die robots.txt umgehen kann, weil er Abrufe im Auftrag von Nutzern ausführt [1].
Quellen
Quellen
- Meta for Developers: „Meta Web Crawlers“, aktualisiert 21. Mai 2026 – developers.facebook.com · abgerufen 18.10.2026.
- Meta: „Meta Commercial Terms“ (neue Fassung, gültig ab 30. Oktober 2026) – facebook.com · abgerufen 18.10.2026.
- Search Engine Journal (Matt G. Southern): „Meta’s New Terms Expand Crawling Rights Beyond Advertisers“, 16. Oktober 2026 – searchenginejournal.com · abgerufen 18.10.2026.
- Nieman Lab (Andrew Deck, Hanaa’ Tameez): „Meta’s new commercial terms will allow the scraping of news sites, legal experts say“, 15. Oktober 2026 – niemanlab.org · abgerufen 18.10.2026.
- Shopify Help Center: „Editing robots.txt.liquid“ – help.shopify.com · abgerufen 18.10.2026.
- Shopify Dev Docs: „Customize robots.txt“ – shopify.dev · abgerufen 18.10.2026.
- WordPress Developer Resources: „do_robots()“ – developer.wordpress.org · abgerufen 18.10.2026.
Alle Quellen am 18. Oktober 2026 abgerufen. Aussagen ohne belastbare Quelle sind im Text als Einschätzung gekennzeichnet; die Ziffern in eckigen Klammern verweisen auf die Nummern dieser Liste. Dieser Beitrag ist keine Rechtsberatung.