Logfile-Analyse für SEO und KI-Crawler

Die folgenden Befunde stammen aus einer Analyse von rund 12 Millionen Logzeilen über zehn Tage (29. August bis 7. September 2026) für eine große, stark besuchte Website (anonymisiert).

• ChatGPT liest mit: Wir zählten knapp 29.000 Abrufe durch ChatGPT-User, im Schnitt also knapp 2.900 pro Tag (als Obergrenze, siehe Methodik unten), mit deutlichem Tagesrhythmus. Alle 100 Seiten mit den meisten Google-Klicks waren darunter. Auf 35 Abrufe kam ungefähr ein Seitenaufruf mit ChatGPT als Herkunft, ein Verhältnis, das zu den Zahlen in GA4 passte.
• Erfundene Adressen: 15 % der Abrufe durch Claude endeten mit einem 404-Fehler, weil das Modell URLs erfunden hatte. Bei ChatGPT waren es 0,1 %. Für die häufigsten erfundenen Adressen haben wir eine Weiterleitungsliste erstellt.
• Crawler in der Schleife: Ein Crawler eines großen Plattformbetreibers stellte rund 370.000 Anfragen, drei Viertel davon auf nur neun URLs. Darunter war ein Bild mit 32 MB, das in einem ausgeblendeten Element der Startseite steckte. Browser luden es nie, Crawler rund 8.800-mal. Das ergab in zehn Tagen etwa 280 GB Datenverkehr.
• Gefälschte Bots: 23 Netzbereiche eines Cloud-Anbieters traten mit mindestens drei verschiedenen KI-Bot-Namen auf. Alle Anfragen, die sich als Perplexity-User ausgaben, waren gefälscht.
• llms.txt: Die Website hatte keine llms.txt, doch keiner der großen KI-Anbieter hat im Untersuchungszeitraum auch nur danach gefragt.

Logfile-Tools liefern schnell schöne Diagramme. Die Zahlen stimmen aber nur, wenn die Daten richtig gelesen werden. Zwei typische Fallen:

• Load Balancer und CDNs: Steht vor dem Webserver ein Load Balancer, taucht in der Standardspalte oft dessen IP-Adresse auf und nicht die des Crawlers. Die echte Adresse steckt dann in einem Zusatzfeld. Wer das übersieht, kann keinen einzigen Bot korrekt verifizieren.
• Nutzer-Agenten sind keine Nutzer: Abrufe durch ChatGPT-User und ähnliche Agenten entstehen, wenn jemand eine Frage stellt, aber auch durch Monitoring-Tools, die Prompts automatisiert abfragen. Wir weisen diese Zahlen deshalb als Obergrenze aus.

Außerdem prüfen wir, ob die Daten vollständig sind. In der oben beschriebenen Analyse fehlten zum Beispiel an sechs Tagen einzelne Stunden, weil der Export begrenzt war. Solche Lücken benennen wir, statt sie zu verschweigen.