Die robots.txt entscheidet, welche Crawler eine Webseite lesen dürfen. Bei KI-Diensten gibt es meist zwei Sorten: Crawler für das Training von Modellen und Crawler für die Suche in Echtzeit. Wer das trennt, bleibt in KI-Antworten sichtbar, ohne Inhalte fürs Training freizugeben.
| User-Agent | Anbieter | Zweck |
|---|---|---|
| OAI-SearchBot | OpenAI | Suche in ChatGPT (Quellen in Antworten) |
| GPTBot | OpenAI | Training von Modellen |
| ChatGPT-User | OpenAI | Abruf, wenn ein Nutzer ChatGPT eine Seite öffnen lässt |
| ClaudeBot | Anthropic | Training von Modellen |
| Claude-SearchBot / Claude-User | Anthropic | Suche bzw. Abruf auf Nutzerwunsch |
| PerplexityBot | Perplexity | Suchindex von Perplexity |
| Google-Extended | Steuerung der Nutzung für Gemini-Training; ändert nichts an der Google-Suche | |
| Bingbot | Microsoft | Bing-Suche, Grundlage für Copilot |
| Applebot-Extended | Apple | Nutzung für Apple-KI-Training |
| CCBot | Common Crawl | offener Datensatz, oft für Training genutzt |
Stand November 2026, nach den Angaben der Anbieter. Die Liste ändert sich; die Namen der Crawler stehen in deren Dokumentation.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: * Allow: / Sitemap: https://www.ihre-firma.de/sitemap.xml
User-agent: * Allow: / Sitemap: https://www.ihre-firma.de/sitemap.xml
Für die meisten kleinen Firmen ist das die sinnvollste Wahl: Je mehr Dienste die Seite kennen, desto eher wird die Firma genannt.
Immer unter /robots.txt der Domain. WordPress erzeugt sie virtuell; ändern lässt sie sich über SEO-Plugins (Yoast SEO, Rank Math) oder eine eigene Datei im Hauptverzeichnis, die Vorrang hat. Bei Wix und Jimdo gibt es in den SEO-Einstellungen einen eigenen Editor. Achtung: Einige Firewalls und Bot-Schutz-Dienste blocken KI-Crawler zusätzlich, unabhängig von der robots.txt.
Das KI-Sichtbarkeits-Paket: llms.txt und Schema.org-Firmenprofil fertig erstellt aus den Inhalten Ihrer Webseite, mit Einbauanleitung für WordPress, Wix, Jimdo oder eigene Seiten. 29 € inkl. MwSt., Lieferung binnen 48 Stunden.
Paket für 29 € bestellen Ganze Webseite prüfen lassen (49 €)Die großen Anbieter (OpenAI, Anthropic, Google, Microsoft, Apple) geben an, die robots.txt zu beachten. Eine technische Sperre ist sie nicht; wer sicher sperren will, braucht zusätzlich eine Firewall-Regel.
Nein. Google-Extended steuert nur die Nutzung für Gemini-Training und -Grounding, nicht das Crawling für die Google-Suche durch den Googlebot.
Die Adresse /robots.txt im Browser öffnen und nach den Namen der Crawler suchen. Der kostenlose Sofortcheck auf dieser Seite prüft das automatisch.