robots.txt prüfen: Wer darf Ihre Website lesen, auch die KI?
Geben Sie Ihre Adresse ein und sehen Sie, ob Google, Bing und KI-Assistenten Ihre Seiten lesen dürfen. Der Prüfer findet Syntaxfehler und zeigt pro Crawler die Regel, die greift. Auf Wunsch erstellen Sie eine neue robots.txt.
Kostenlos. Ohne Anmeldung. Die Auswertung läuft in Ihrem Browser. Zum Abrufen der robots.txt fragt unser Server die öffentliche Adresse für Sie ab, wir speichern nichts.
Eine robots.txt ist eine Bitte an Crawler, kein Schutz. Nicht jeder Crawler hält sich daran. Die Zuordnung der KI-Crawler folgt den Herstellerangaben (Stand Oktober 2026) und kann sich ändern.
So funktioniert der Prüfer
ABRUF
Die Datei wird gelesen
Sie geben Ihre Adresse ein, der Prüfer holt die robots.txt. Oder Sie fügen den Text selbst ein, dann wird gar nichts übertragen.
PRÜFUNG
Regeln, wie Crawler sie lesen
Syntaxfehler, fehlende Sitemap, gesperrte Design-Ordner und ein Wert über 500 KiB werden gemeldet. Die Regeln werden so ausgewertet wie bei Google: Die genauere Regel gewinnt.
KI-CRAWLER
Wer darf was
Für Googlebot, Bingbot und die wichtigsten KI-Crawler sehen Sie, ob der Pfad erlaubt oder gesperrt ist, und welche Zeile das bewirkt. Suche und Training trennen Sie bewusst.
Fragen zur robots.txt
Was ist eine robots.txt?
Eine kleine Textdatei im Hauptverzeichnis Ihrer Website. Sie sagt Crawlern, welche Bereiche sie lesen dürfen und wo Ihre Sitemap liegt.
Sollte ich KI-Crawler sperren?
Das hängt von Ihrem Ziel ab. Such-Crawler wie OAI-SearchBot, Claude-SearchBot oder PerplexityBot entscheiden, ob Ihre Seiten in KI-Antworten zitiert werden können. Training-Crawler wie GPTBot oder ClaudeBot sammeln Inhalte für Modelle. Wer gefunden werden will, lässt die Suche offen und entscheidet getrennt über das Training.
Halte ich Seiten mit der robots.txt aus Google fern?
Nicht zuverlässig. Eine gesperrte Adresse kann trotzdem im Index auftauchen, wenn andere darauf verlinken. Zum Ausschliessen nutzen Sie ein noindex-Meta-Tag.
Wie ändere ich die robots.txt in Webflow?
Unter Site-Einstellungen, SEO, robots.txt. Text einfügen, speichern und die Website neu veröffentlichen.
Werden meine Eingaben gespeichert?
Nein. Bei einer Adresse ruft unser Server die öffentliche robots.txt ab und gibt sie an Ihren Browser zurück. Die Adresse wird nicht gespeichert. Eingefügter Text bleibt in Ihrem Browser.
Weitere kostenlose Tools
Fünfzehn Minuten. Keine Präsentation.
Sagen Sie uns, woher Ihre Kunden heute kommen. Wir sagen Ihnen, an welcher der drei Stellen Sie am meisten verlieren – und ob sich das mit uns lohnt oder ob Sie es diese Woche selbst beheben können.
Wir nehmen nur eine begrenzte Zahl Projekte gleichzeitig an. Wenn wir ausgebucht sind, sagen wir es Ihnen im Gespräch.