Website-Monitoring · Nr. 09
robots.txt prüfen
Kurz gesagt
Die robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website. Sie legt fest, welche URLs Suchmaschinen-Crawler und KI-Bots crawlen dürfen. Eine einzige Zeile Disallow: / sperrt die gesamte Website, die dann nach und nach aus Google und der KI-Suche verschwindet. Meist passiert das, wenn beim Livegang oder Update die Datei der Testumgebung auf der Live-Website landet.
Inhalt
- Was ist eine robots.txt?
- Was kann ein Fehler in der robots.txt kosten?
- Wie wirkt sich die robots.txt auf Ihre Sichtbarkeit in KI-Antworten aus?
- Wie kommt es zu Fehlern in der robots.txt?
- Woran erkennen Sie ein Problem mit der robots.txt?
- So prüfen Sie Ihre robots.txt selbst
- Was FullCheckApp prüft
- Häufige Fragen
- Quellen
Was ist eine robots.txt?
Die robots.txt ist eine einfache Textdatei unter example.com/robots.txt. Darin legt der Websitebetreiber Regeln für automatisierte Besucher fest: Crawler von Suchmaschinen, KI-Bots und SEO-Tools. Google beschreibt sie so:
„Mit der robots.txt-Datei kannst du Suchmaschinen-Crawlern mitteilen, auf welche URLs deiner Website sie zugreifen können.“
Das Format ist in RFC 9309 standardisiert, dem Dokument, das das Robots Exclusion Protocol definiert. Die Datei muss im Stammverzeichnis Ihrer Website liegen — in Unterordnern suchen Crawler nicht danach —, und Google liest nur die ersten 500 KiB (Google-Dokumentation).
| Zeile | Bedeutung |
|---|---|
User-agent: * | Die folgenden Regeln gelten für alle Crawler |
User-agent: Googlebot | Die folgenden Regeln gelten nur für den Crawler der Google Suche |
Disallow: /cart/ | URLs, die mit /cart/ beginnen, nicht crawlen |
Disallow: / | Keine einzige Seite der Website crawlen |
Disallow: (leerer Wert) | Keine Einschränkungen — alles darf gecrawlt werden |
Allow: /cart/help/ | Ausnahme von einer weiter gefassten Sperre |
Sitemap: https://example.com/sitemap.xml | Wo Ihre Sitemap liegt |
Wichtig: Die robots.txt ist eine Bitte, kein Schloss. RFC 9309 stellt klar, dass diese Regeln keine Form der Zugriffsautorisierung sind (RFC 9309). Seriöse Crawler halten sich daran, private Daten schützen Sie damit aber nicht.
Was kann ein Fehler in der robots.txt kosten?
Der gefährlichste Fehler ist eine Zeile Disallow: / in der Gruppe User-agent: *. Sie verbietet allen Suchmaschinen-Crawlern, Ihre Website zu crawlen. Google kann den Inhalt Ihrer Seiten nicht mehr lesen: Neue Seiten kommen nicht in die Suche, Änderungen an bestehenden werden nicht übernommen, und laut Google-Dokumentation kann die URL einer gesperrten Seite trotzdem in den Suchergebnissen erscheinen — nur ohne Beschreibung. Die Website selbst öffnet sich dabei ganz normal. Wer nicht gezielt prüft, bemerkt das Problem erst, wenn der Traffic einbricht.
Der zweite häufige Fehler: eine Seite per robots.txt aus der Suche entfernen zu wollen. Das funktioniert nicht, denn die Datei steuert das Crawling, nicht die Indexierung:
„Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen. […] Wenn andere Seiten mit beschreibendem Text auf deine Seite verweisen, kann Google die URL auch ohne Seitenaufruf indexieren.“
Damit eine Seite nicht bei Google erscheint, empfiehlt die Dokumentation, die Indexierung mit noindex zu blockieren oder die Seite mit einem Passwort zu schützen. Sperren Sie eine noindex-Seite dabei nicht zusätzlich in der robots.txt: Der Crawler lädt die Seite dann nicht und sieht das noindex nie.
Müssen Sie eine Seite dringend aus der Suche nehmen, gibt es in der Google Search Console das Tool „Entfernen“. Es blendet die URL für etwa sechs Monate aus den Google-Suchergebnissen aus, stoppt aber weder das Crawling, noch löscht es die Seite endgültig: Nach Ablauf der Frist kann sie wieder auftauchen (Search Console-Hilfe). Kombinieren Sie das vorübergehende Entfernen deshalb mit noindex, einem Passwort oder dem Löschen der Seite selbst.
Auch eine nicht erreichbare Datei ist gefährlich. Liefert die robots.txt einen Serverfehler (5xx), stellt Google das Crawling Ihrer Website in den ersten 12 Stunden ein und verwendet danach bis zu 30 Tage lang die letzte zwischengespeicherte Version der Datei (Google-Dokumentation). Deshalb warnt Google ausdrücklich davor, für die robots.txt den Statuscode 503 auszuliefern — selbst während Wartungsarbeiten (Google-Dokumentation). Ein 404 dagegen bedeutet „keine Einschränkungen“.
Sichtbarkeit in KI-Antworten
Wie wirkt sich die robots.txt auf Ihre Sichtbarkeit in KI-Antworten aus?
Direkt. Die meisten großen KI-Dienste crawlen Websites mit eigenen Bots und halten sich an die Regeln der robots.txt. Dieselbe Datei entscheidet also, ob Ihre Website in Antworten von ChatGPT, Claude oder Perplexity auftauchen kann. Zur KI-Suche formuliert es OpenAI unmissverständlich:
„Websites, die OAI-SearchBot ausgeschlossen haben, werden in den Antworten der ChatGPT-Suche nicht angezeigt, können aber weiterhin als Navigationslinks erscheinen.“
Beachten Sie: Jeder Dienst betreibt mehrere Bots mit unterschiedlichen Aufgaben. Sie können die Nutzung Ihrer Website für das Training von Modellen sperren und trotzdem in der KI-Suche bleiben:
| Unternehmen | Bot in der robots.txt | Wofür er da ist |
|---|---|---|
Googlebot | Google Suche einschließlich Übersichten mit KI (AI Overviews) und KI-Modus | |
Google-Extended | Training künftiger Gemini-Modelle und Fundierung von Antworten in Gemini-Apps und Vertex AI; kein Einfluss auf die Google Suche | |
| OpenAI | OAI-SearchBot | Anzeige von Websites in der ChatGPT-Suche |
| OpenAI | GPTBot | Training von Modellen |
| Anthropic | Claude-SearchBot | Bessere Suchergebnisse für Nutzer von Claude |
| Anthropic | ClaudeBot | Sammeln von Inhalten, die für das Training genutzt werden können |
| Perplexity | PerplexityBot | Anzeige und Verlinkung von Websites in den Suchergebnissen von Perplexity |
Das sagen die Unternehmen selbst:
- Google. Google-Extended ist kein eigener Crawler: Gecrawlt wird vom normalen Googlebot, das Token in der robots.txt steuert nur, wofür die Inhalte verwendet werden. In der Dokumentation heißt es: „Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google Suche und wird auch nicht als Ranking-Signal in der Google Suche verwendet“ (Google). Den Crawling-Zugriff für die Suche — einschließlich der Übersichten mit KI und des KI-Modus — regeln Ihre robots.txt-Regeln für den Googlebot, und die Seite selbst muss indexiert sein (Google). Mit anderen Worten:
Disallow: /für den Googlebot entfernt Ihre Website sowohl aus der Google Suche als auch aus den KI-Antworten von Google. - OpenAI. Laut OpenAI sind die Einstellungen für die einzelnen Bots voneinander unabhängig, und nach einer Änderung der robots.txt kann es rund 24 Stunden dauern, bis sich die Suchsysteme von OpenAI angepasst haben. Wer GPTBot sperrt, signalisiert, dass die Inhalte der Website nicht für das Training generativer KI-Basismodelle verwendet werden sollen (OpenAI).
- Anthropic. Nach eigenen Angaben halten sich die Bots von Anthropic an die branchenüblichen Anweisungen in der robots.txt. Eine Sperre von Claude-SearchBot kann laut Anthropic die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen für Nutzer verringern (Anthropic).
- Perplexity. PerplexityBot wird laut Perplexity nicht eingesetzt, um Inhalte für KI-Basismodelle zu crawlen, und das Unternehmen empfiehlt, PerplexityBot in der robots.txt Ihrer Website zuzulassen (Perplexity).
Es gibt Ausnahmen. Bots, die eine Seite auf direkte Anfrage eines Nutzers öffnen, funktionieren anders: Für ChatGPT-User gelten die robots.txt-Regeln laut OpenAI unter Umständen nicht, und Perplexity-User ignoriert robots.txt-Regeln laut Perplexity in der Regel. Anthropic dagegen weist darauf hin, dass eine Sperre von Claude-User verhindert, dass das System Ihre Inhalte als Antwort auf eine Nutzeranfrage abruft.
Wie kommt es zu Fehlern in der robots.txt?
Absichtlich ändert kaum jemand die Datei — meist ändert sie sich nebenbei, bei ganz anderen Arbeiten an der Website:
- Umzug von der Testumgebung. Die Staging-Kopie der Website bekommt
Disallow: /, damit sie nicht indexiert wird, und beim Livegang wird die Datei mit allem anderen auf die Live-Website kopiert. - CMS- oder Hosting-Einstellungen. Manche CMS und Hosting-Panels haben für Staging-Kopien eine Option wie „Suchmaschinen davon abhalten, diese Website zu indexieren“. Sie wird während der Entwicklung aktiviert und nach dem Livegang nie wieder abgeschaltet.
- Ein SEO-Plugin oder -Modul. Ein Plugin-Update überschreibt die Datei mit einer eigenen Vorlage oder fügt Sperren für Bereiche hinzu, die in die Suche gehören.
- Ein zu breites Muster.
Disallow: /cstattDisallow: /cart/sperrt neben dem Warenkorb auch den Bereich/catalog/, denn die Regel gilt für jede URL, die mit diesen Zeichen beginnt. - Gesperrte KI-Bots. Jemand fügt eine Sperre gegen „alle Bots“ ein und schließt neben den Trainings-Bots auch die Crawler der KI-Suche oder sogar den Googlebot aus.
- Ein Serverfehler. Die Datei wird dynamisch erzeugt, und nach einem Update liefert
/robots.txteinen 5xx-Fehler.
Woran erkennen Sie ein Problem mit der robots.txt?
Die Anzeichen zeigen sich meist in der Search Console und in den Suchergebnissen, nicht auf der Website selbst:
| Was Sie sehen | Mögliche Ursache | Was zu tun ist |
|---|---|---|
| Impressionen und Klicks in der Search Console brechen nach einem Livegang oder Update stark ein | Disallow: / ist auf der Live-Website gelandet | /robots.txt öffnen, die Sperre für die gesamte Website entfernen und erneutes Crawling beantragen |
| Eine Seite erscheint in der Suche ohne Beschreibung | Die Seite ist in der robots.txt gesperrt, aber Google hat sie über Links gefunden | Gehört die Seite in die Suche, das Crawling erlauben; falls nicht, das Crawling erlauben und noindex setzen |
| Wichtige Seiten haben in der Search Console den Status „Durch robots.txt-Datei blockiert“ | Eine zu breite Disallow-Regel | Den Pfad genauer fassen oder für den benötigten Bereich eine Allow-Regel ergänzen |
| Google crawlt die Website überhaupt nicht mehr | Die robots.txt liefert einen 5xx-Fehler | Sicherstellen, dass die Datei mit dem Statuscode 200 ausgeliefert wird |
| Ihre Website erscheint nicht in der Suche von ChatGPT oder Perplexity | OAI-SearchBot oder PerplexityBot ist gesperrt | Crawler der KI-Suche zulassen und bei Bedarf nur die Trainings-Bots weiter sperren |
So prüfen Sie Ihre robots.txt selbst
Sie brauchen einen Browser und die Google Search Console:
- Öffnen Sie
https://example.com/robots.txt— mit Ihrer eigenen Domain. Die Datei sollte sich als reiner Text öffnen, ohne Fehlermeldung. - Suchen Sie die Gruppe
User-agent: *und eventuelle Gruppen für einzelne Crawler. Dort darf wederDisallow: /stehen noch ein zu kurzer Pfad wieDisallow: /c. - Prüfen Sie, ob die Zeile
Sitemap:auf eine funktionierende Sitemap-URL verweist. - Suchen Sie die Gruppen für
Googlebot,OAI-SearchBot,Claude-SearchBotundPerplexityBotund stellen Sie sicher, dass diese Bots alles crawlen dürfen, was in die Suche gehört. - Öffnen Sie in der Search Console unter „Einstellungen“ den robots.txt-Bericht: Er zeigt, wann Google die Datei zuletzt abgerufen hat und ob dabei Fehler auftraten. Für eine einzelne Seite zeigt das URL-Prüftool, ob das Crawling blockiert ist.
- Oder nutzen Sie den FullCheckApp-Check „robots.txt prüfen“ und erhalten Sie die Ergebnisse übersichtlich grafisch aufbereitet.
RFC 9309 erlaubt Crawlern, die Datei bis zu 24 Stunden zwischenzuspeichern (RFC 9309) — eine Korrektur wirkt also nicht sofort.
Wenn Sie sich für die letzte Option entschieden haben, haben Sie bereits die richtige Entscheidung getroffen: Der Check läuft automatisch, und Sie erfahren als Erste von Warnungen und kritischen Ereignissen.
Was FullCheckApp prüft
FullCheckApp lädt jeden Tag zu der von Ihnen gewählten Uhrzeit die robots.txt jeder überwachten Website herunter und zeigt im Bericht:
- Ob die Indexierung erlaubt ist — also ob die Datei Ihre Website nicht für Suchmaschinen-Crawler sperrt.
- Wie viele Sitemaps angegeben sind — die Zeilen
Sitemap:in der Datei. - Ob
Disallow: /aufgetaucht ist — das wird als Problem markiert, damit ein Umzug von der Testumgebung nicht unbemerkt bleibt.
Markierungen im Bericht: Grün steht für OK, Gelb für eine Warnung, Rot für kritisch; den Schweregrad legen Sie für jede Website separat fest. Nach jedem Check erhalten Sie einen Bericht per E-Mail, kritische Probleme zusätzlich per Telegram.
Die Sitemap selbst — wie viele Seiten sie enthält und ob diese Zahl gesunken ist — prüft der separate Check „sitemap.xml prüfen“. Wie Sie die Indexierung per Meta-Robots-Tag und X-Robots-Tag blockieren, erklärt der Artikel „SEO-Tags einer Seite prüfen“, und den Status einer Seite aus Sicht von Google selbst behandelt der Artikel „Indexierung in Google prüfen“.
Häufige Fragen
Entfernt Disallow eine Seite aus Google?
Nein. Die robots.txt blockiert das Crawling einer Seite, nicht ihre Indexierung. Laut Google kann eine gesperrte URL trotzdem indexiert werden, wenn andere Websites auf sie verlinken — sie erscheint dann ohne Beschreibung. Um eine Seite aus der Suche zu entfernen, nutzen Sie noindex oder einen Passwortschutz und sperren Sie das Crawling nicht. Mit dem Tool „Entfernen“ in der Google Search Console können Sie unerwünschte Seiten zusätzlich ausblenden, allerdings nur vorübergehend — für etwa sechs Monate.
Was passiert, wenn meine Website keine robots.txt hat?
Nichts Schlimmes, vor allem bei einer kleinen Unternehmenswebsite, einer Landingpage oder einem Blog mit einem Dutzend Seiten, ohne technische Bereiche oder Duplikate, die Sie vor Crawlern verbergen müssten. Liefert die Datei einen 404, geht Google davon aus, dass es keine Crawling-Einschränkungen gibt, und crawlt die gesamte Website. Schlimmer ist ein Serverfehler (5xx): Dann stoppt Google zunächst das Crawling und verwendet anschließend bis zu 30 Tage lang die letzte zwischengespeicherte Version der Datei. Der Vorteil einer robots.txt: Sie können darin die URL Ihrer Sitemap angeben, damit Crawler neue Inhalte schneller finden, und generell steuern, wie Suchmaschinen-Crawler Ihre Website crawlen.
Wie verhindere ich KI-Training mit meiner Website, ohne aus der KI-Suche zu verschwinden?
Sperren Sie in der robots.txt die Trainings-Bots — etwa GPTBot, ClaudeBot und Google-Extended —, aber nicht die Such-Crawler Googlebot, OAI-SearchBot, Claude-SearchBot und PerplexityBot. Laut Dokumentation der Unternehmen sind diese Einstellungen voneinander unabhängig, und Google-Extended hat keinen Einfluss auf die Google Suche. Die aktuellen Bot-Namen finden Sie in der Dokumentation des jeweiligen Dienstes.
Schützt die robots.txt Seiten vor fremdem Zugriff?
Nein. RFC 9309 stellt klar, dass robots.txt-Regeln keine Form der Zugriffsautorisierung sind. Seriöse Crawler halten sich daran, aber jeder kann eine gesperrte URL öffnen — und weil die Datei öffentlich ist, verrät sie sogar, welche Bereiche Sie verbergen möchten. Private Daten schützen Sie mit einem Passwort oder anderen echten Schutzmaßnahmen.
Warum ist meine Website nach der Korrektur der robots.txt nicht sofort wieder bei Google?
Crawler speichern die robots.txt zwischen: RFC 9309 erlaubt, eine Kopie bis zu 24 Stunden zu behalten. Danach muss Google Ihre Seiten erneut crawlen, und das braucht Zeit. Beschleunigen können Sie das, indem Sie in der Search Console für wichtige Seiten die Indexierung beantragen und sicherstellen, dass Ihre Sitemap erreichbar ist.
Quellen
- Google Search Central — Einführung und Leitfaden zu robots.txt-Dateiendevelopers.google.com/search/docs/crawling-indexing/robots/intro?hl=de
- Google Search Central — Wie Google die robots.txt-Spezifikation interpretiertdevelopers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=de
- RFC 9309 — Robots Exclusion Protocolwww.rfc-editor.org/rfc/rfc9309.html
- Google — Gewöhnliche Crawler von Google (Google-Extended)developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=de
- Google Search Central — KI-Funktionen und deine Websitedevelopers.google.com/search/docs/appearance/ai-features?hl=de
- OpenAI — Overview of OpenAI Crawlersdevelopers.openai.com/api/docs/bots
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity — Perplexity Crawlersdocs.perplexity.ai/guides/bots
- Search Console-Hilfe — Tool zum Entfernen und für SafeSearch-Meldungensupport.google.com/webmasters/answer/9689846?hl=de
Prüfen Sie Ihre Website
Geben Sie die Adresse Ihrer Website ein — der erste Check läuft sofort, und Sie sehen den Status jedes Punkts aus diesem Artikel.
Kostenlos prüfen