Welche KI-Crawler du durchlassen solltest – und welche nicht

Auf jede Website kommen inzwischen Programme, die nicht für Google arbeiten. Sie lesen Texte, um Sprachmodelle zu trainieren, oder um eine Frage zu beantworten, die gerade jemand gestellt hat. Das sind zwei völlig verschiedene Vorgänge – und der entscheidende Punkt ist: Dieselbe Firma schickt dafür verschiedene Programme mit verschiedenen Namen.

Wer das nicht trennt, sperrt entweder zu viel oder zu wenig. Hier steht, wer wirklich vorbeikommt, was jeder tut, und welche Entscheidung für einen kleinen Betrieb sinnvoll ist.

Die sieben, die zählen

Der Unterschied zwischen Zeile 1 und den Zeilen 2 und 3 ist die ganze Diskussion in Kurzform:

• Training heißt: Dein Text fließt in ein Modell ein. Du bekommst dafür nichts, nicht einmal eine Nennung.
• Antwort heißt: Dein Text wird gelesen, um eine aktuelle Frage zu beantworten – oft mit Quellenangabe und Link, also mit der Chance auf einen Besucher.

Deshalb hat sich bei größeren Websites eine klare Linie durchgesetzt: Training sperren, Antwort erlauben. Auswertungen von robots.txt-Dateien größerer Websites zeigen rund 30 %, die genau so verfahren; das Sperren von GPTBot liegt seit einiger Zeit stabil bei etwa einem Viertel.

Gilt das auch für einen Betrieb mit zwölf Seiten?

Hier wird es unbequem, weil die Interessenlage eine andere ist als bei einem Verlag.

Ein Verlag verkauft Texte. Wenn ein Modell diese Texte umsonst lernt und die Antwort ohne Klick ausliefert, ist das ein direkter Verlust – deshalb sperren Verlage.

Ein Handwerksbetrieb verkauft keine Texte, sondern Dachdeckerarbeiten. Sein Interesse ist, dass möglichst viele Systeme wissen, dass es ihn gibt, was er macht und wie man ihn erreicht. Für ihn ist auch Training nicht klar nachteilig: Ein Modell, das gelernt hat, dass in Pirna ein bestimmter Betrieb Dächer deckt, kann ihn später nennen.

Eine robots.txt, die man übernehmen kann

Für einen regionalen Betrieb, der gefunden werden will, ist die ehrlichste Datei die kürzeste – nämlich eine, die KI-Programme gar nicht erwähnt:

User-agent: *
Disallow: /admin/
Disallow: /intern/
Sitemap: https://deinedomain.de/sitemap.xml

Wer Training ausschließen und für Antworten erreichbar bleiben will:

# Training: nein
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Antworten mit Quellenangabe: ja
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /intern/
Sitemap: https://deinedomain.de/sitemap.xml

Zwei Hinweise dazu, die in den meisten Vorlagen fehlen:

Die Reihenfolge ist egal, die Genauigkeit nicht. Ein Programm befolgt den Block, der seinen Namen am genauesten trifft. Der *-Block gilt nur für alle, die keinen eigenen Block haben.

Allow: / ist streng genommen überflüssig, weil ohne Verbot ohnehin alles erlaubt ist. Ich schreibe es trotzdem hin, weil die Datei damit dokumentiert, was jemand entschieden hat – und weil der Nächste, der sie öffnet, dann nicht rät.

Der Punkt, an dem alle Ratgeber schweigen

Aus Googles AI Overviews und dem AI-Modus gibt es keinen sauberen Ausstieg.

Google dokumentiert dafür keine eigene Abmeldung. Was gecrawlt und indexiert wird, kann in KI-Antworten der Suche landen; die Steuerung für Googlebot ist die Steuerung für die Suche insgesamt. Google-Extended wirkt ausdrücklich nur auf andere Google-Systeme.

Bleiben drei Werkzeuge, alle mit Nebenwirkung:

Für einen Betrieb, der über Google Anfragen bekommt, ist jeder dieser Tauschhandel schlecht. Der Vorschautext in den Suchergebnissen ist das, was den Klick auslöst. Wer ihn abschaltet, um nicht in einem KI-Kasten zu landen, verliert zuerst das Geschäft, das er hat.

Das einzige sinnvolle Einsatzfeld ist data-nosnippet für einzelne Passagen, die nirgends außerhalb der eigenen Seite auftauchen sollen – Preise unter Vorbehalt, interne Hinweise, Textstellen mit Namen Dritter.

Was robots.txt nicht kann

Die Datei ist als RFC 9309 standardisiert, aber die Befolgung bleibt freiwillig. Sie ist ein Schild, kein Zaun. Die großen Anbieter halten sich in der Regel daran; wer sich nicht daran hält, wird davon nicht abgehalten.

Wer echten Zwang braucht – weil ein Programm die Seite im Minutentakt abruft und Last erzeugt –, muss eine Ebene tiefer: Sperre im Webserver oder beim CDN, wo die Verbindung abgewiesen wird. Viele CDNs bieten dafür inzwischen einen Schalter, der KI-Programme unabhängig von der robots.txt blockt. Das ist wirksam, aber grob: Er trifft dann auch die Programme, die dir Besucher bringen könnten.

Die Empfehlung

Für die allermeisten meiner Kunden – Handwerk, Praxen, Kanzleien, Ferienvermieter – lautet sie: nichts sperren. Die Reichweite ist zu klein, die Trainingsfrage zu theoretisch, und der Schaden eines versehentlich zu weit gefassten Verbots ist real.

Sperren würde ich, wenn eines davon zutrifft:

• Die Website ist selbst das Produkt (Fachtexte, Kursinhalte, Datenbanken).
• Es stehen Inhalte drauf, die vertraglich nicht weiterverwendet werden dürfen.
• Ein Programm erzeugt messbare Last – dann aber gezielt und auf Serverebene.

Und bevor du irgendetwas sperrst: Schau nach, wer tatsächlich vorbeikommt. Das steht im Serverlog, es kostet nichts, und es ist regelmäßig überraschend. Wie man das ausliest, ohne ein Werkzeug zu kaufen, ist das Thema eines eigenen Artikels in dieser Reihe.

Was du davon unabhängig prüfen solltest, steht im Selbsttest in zwölf Checks – Check 1 ist genau diese Datei.