Wer deine Website wirklich liest: KI-Crawler im Serverlog finden
Kein Werkzeug, kein Abo: Zehn Zeilen Kommandozeile zeigen, welche KI-Programme deine Seiten abrufen, wie oft, und welche davon überhaupt echt sind.
Alle bisherigen Artikel dieser Reihe beruhen an irgendeiner Stelle auf Zahlen von anderen. Dieser nicht. Das Serverlog ist die einzige Quelle über deine Website, die niemandem gehört außer dir – und sie ist die einzige Stelle, an der du siehst, welche KI-Programme tatsächlich vorbeikommen.
Die Search Console zeigt nur Google. Analyse-Werkzeuge zeigen nur Besuche mit JavaScript, also praktisch nur Menschen. Programme tauchen dort gar nicht auf. Im Log steht jeder Abruf.
Wo das Log liegt
| Zugang | Wo |
|---|---|
| Hoster-Verwaltung | „Logs“, „Statistiken“ oder „Zugriffsprotokolle“, meist als .gz zum Herunterladen |
| Plesk / cPanel | Domain → Logs → Access Log |
| SSH, nginx | /var/log/nginx/access.log |
| SSH, Apache | /var/log/apache2/access.log |
Zwei Dinge vorab prüfen: Wie lange wird aufbewahrt? Manche Tarife löschen nach sieben Tagen – für eine Auswertung will man mindestens dreißig. Und: Steht die Kennung überhaupt drin? Manche Hoster liefern ein gekürztes Format ohne die Programmkennung; dann ist die Auswertung nicht möglich und ein Anruf beim Support die erste Aufgabe.
Die Auswertung in fünf Befehlen
Alles auf einer Kopie der Logdatei, damit nichts kaputtgeht. Wer Windows nutzt, macht das in der Git-Bash oder im WSL.
1. Wer kommt überhaupt?
grep -oiE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended|Applebot-Extended|CCBot|Bytespider|meta-externalagent' access.log \
| sort | uniq -c | sort -rnDas Ergebnis ist eine Rangliste. Sie ist die ganze Antwort auf die Frage „besucht mich KI?“, und sie kostet zehn Sekunden.
2. Wie viel ist das im Vergleich?
echo "Googlebot: $(grep -ci 'Googlebot' access.log)"
echo "KI gesamt: $(grep -ciE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended' access.log)"Die absolute Zahl sagt wenig, das Verhältnis viel. Googlebot ist der Maßstab, den du kennst.
3. Was wird abgerufen?
grep -i 'GPTBot' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Hier wird es interessant. Wenn oben Seiten stehen, die du für zweitrangig hältst, sagt das etwas – dieselbe Beobachtung wie im KI-Bericht der Search Console, nur für die anderen Anbieter.
Stehen dort Adressen, die gar nicht öffentlich sein sollten – Testseiten, alte Entwürfe, Dateien aus einem Backup-Ordner –, hast du ein Problem gefunden, das nichts mit KI zu tun hat und wichtiger ist als der Rest dieses Artikels.
4. Kommen die Abrufe gleichmäßig oder in Wellen?
grep -i 'ClaudeBot' access.log | awk -F'[:[]' '{print $2":"$3}' | sort | uniq -c | tail -30Gleichmäßig verteilt heißt: normales Crawling. Hunderte Abrufe in wenigen Minuten heißen: Last. Das ist der einzige Fall, in dem ich zum Sperren rate – und dann gezielt, wie in KI-Crawler steuern beschrieben.
5. Antwortet dein Server überhaupt richtig?
grep -i 'GPTBot' access.log | awk '{print $9}' | sort | uniq -c | sort -rnErwartet werden 200 und 304. Viele 403 heißen: Irgendetwas sperrt bereits – eine Firewall, ein Sicherheits-Plugin, dein CDN. Das passiert häufiger als gedacht, ohne dass jemand es entschieden hätte. Viele 404 heißen: Es werden Adressen abgerufen, die es nicht mehr gibt; meist alte Links, die irgendwo weiterleben.
Der Schritt, den fast alle auslassen
Die Kennung im Log ist ein Textfeld ohne jede Prüfung. Jeder kann sich als GPTBot ausgeben, und viele tun es – Analysewerkzeuge, Sichtbarkeits-Dienste, Datensammler, die hoffen, unter einem bekannten Namen durchgelassen zu werden.
Wer die Zahl aus Befehl 1 für bare Münze nimmt, zählt Fremde mit. Die Echtheitsprüfung geht über die IP-Adresse, und die Anbieter veröffentlichen dafür Listen:
| Anbieter | Liste |
|---|---|
| OpenAI | openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json |
| Anthropic | claude.com/crawling/bots.json |
| Rückwärtsauflösung des Namens, Anleitung in der Google-Dokumentation |
Das Prinzip: IP-Adresse aus dem Log nehmen, gegen die veröffentlichte Liste prüfen. Steht sie nicht drin, war es nicht der, der behauptet wurde.
grep -i 'GPTBot' access.log | awk '{print $1}' | sort -uDie Liste ist meist kurz genug, um sie von Hand zu prüfen. Bei Google reicht die Rückwärtsauflösung:
host 66.249.66.1Kommt dabei kein Name auf googlebot.com oder google.com heraus, war es nicht Google.
Was die Zahlen bedeuten – und was nicht
Drei Einordnungen, damit aus der Auswertung keine falsche Schlussfolgerung wird.
Viele Abrufe sind kein Erfolg. Ein Programm, das deine Seiten liest, hat dich noch nicht empfohlen. Der Abruf ist die Voraussetzung, nicht das Ergebnis. Wer daraus „wir sind KI-sichtbar“ macht, verwechselt Einlass mit Einladung.
Wenige Abrufe sind kein Versagen. Kleine Websites werden seltener abgerufen, weil es wenig zu holen gibt und weil die Anbieter ihre Kapazität auf große Bestände richten. Ein Handwerksbetrieb mit zwölf Seiten ist kein Nachrichtenportal.
Null Abrufe sind ein Befund. Wenn über dreißig Tage kein einziges KI-Programm vorbeikommt, lohnt sich Befehl 5: Vermutlich sperrt etwas. Das ist der häufigste echte Fund dieser ganzen Übung.
Wie ich das hier handhabe
Auf dieser Website läuft die Auswertung seit dem Umbau im September mit. Ich veröffentliche die Zahlen, wenn ein voller Quartalszeitraum zusammengekommen ist und die Echtheitsprüfung durch ist – vorher wäre es eine Momentaufnahme, und davon gibt es zu diesem Thema schon genug.
Was ich jetzt schon sagen kann: Der Aufwand für diese Auswertung liegt bei etwa einer halben Stunde im Quartal, und sie hat mir bisher mehr über meine Website verraten als jedes Sichtbarkeits-Werkzeug mit Monatsgebühr. Nicht, weil die Zahlen groß wären, sondern weil im Log Dinge stehen, die sonst niemand zeigt: welche alten Adressen noch abgerufen werden, was der Server wirklich antwortet, und wer sich für wen ausgibt.
Wer erst einmal wissen will, ob seine Seiten überhaupt lesbar sind, fängt beim Selbsttest in zwölf Checks an – Check 1 bis 4 sind die Vorstufe zu diesem Artikel.
Häufige Fragen
Wo finde ich das Serverlog meiner Website?
Bei den meisten Hostern im Verwaltungsbereich unter „Logs“, „Statistiken“ oder „Zugriffsprotokolle“, oft als komprimierte Datei zum Herunterladen. Wer SSH-Zugang hat, findet die Dateien üblicherweise unter /var/log/nginx/ oder /var/log/apache2/. Manche Tarife speichern nur wenige Tage – dann lohnt es sich, die Aufbewahrung zu verlängern, bevor man auswertet.
Warum steht die Kennung eines Programms im Log, obwohl ich es gesperrt habe?
Weil jeder beliebige Absender sich als GPTBot ausgeben kann – die Kennung ist ein Textfeld ohne Prüfung. Deshalb gehört zu jeder Auswertung die Echtheitsprüfung über die veröffentlichten IP-Bereiche der Anbieter. Erfahrungsgemäß ist ein erheblicher Teil der vermeintlichen KI-Zugriffe nicht echt.
Wie viele KI-Zugriffe sind normal?
Das hängt so stark von Umfang und Alter der Website ab, dass eine allgemeine Zahl nichts aussagt. Aussagekräftig ist das Verhältnis: KI-Abrufe im Vergleich zu Googlebot-Abrufen, und die Entwicklung über mehrere Monate. Ein einzelner Monatswert ohne Vergleich ist keine Information.
Was mache ich mit dem Ergebnis?
In den meisten Fällen nichts – es ist eine Beobachtung, keine Handlungsaufforderung. Handeln solltest du in zwei Fällen: wenn ein Programm so oft abruft, dass es messbar Last erzeugt, oder wenn Programme Seiten abrufen, die nicht öffentlich sein sollten. Beides steht im Log und sonst nirgends.