Eingaben
Beispiel
example.com/robots.txt -> GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended und vom Nutzer ausgelöste Agents mit passenden Regeln.
KI-Crawler-robots.txt-Prüfer
Prüft RFC-9309-Matching für dokumentierte oder eigene Crawler-Product-Tokens mit zusammengeführten Gruppen, Fetch-Evidenz und Registry-Quellen.
Nutze es vor Änderungen an robots.txt, wenn KI-Crawler, Suchbots, Trainings-Crawler oder vom Nutzer ausgelöste Agents betroffen sind.
Was ein AI-Crawler-Report wirklich aussagt
robots.txt ist still zu dem Ort geworden, an dem eine Website ihr Verhältnis zu maschinellen Besuchern erklärt — und dieses Publikum hat sich verändert. Neben klassischen Suchcrawlern stehen heute Trainings-Crawler, die Korpusdaten sammeln, Retrieval-Bots, die live Nutzerfragen beantworten, und user-getriggerte Agents, die im Auftrag einer Person eine einzelne Seite abrufen. Alle lesen dieselbe Datei, aber sie zu blockieren sind völlig verschiedene Entscheidungen: Wer Suchindexierung aussperrt, bezahlt mit Sichtbarkeit; wer Trainings-Crawler aussperrt, bezieht eine Lizenzposition.
Dieser Checker wertet robots.txt nach RFC 9309 aus: Er wählt den spezifischsten passenden Product-Token, führt alle Gruppen mit exakt diesem Token zusammen und nutzt die Wildcard-Gruppe nur, wenn kein spezifischer Token passt. Pfade werden case-sensitiv und oktett-normalisiert verglichen; die längste Regel gewinnt, bei gleicher Länge gewinnt Allow. Jede Entscheidung zeigt Gruppen, Direktive und Quellzeile.
Vom eingefügten Entwurf zur veröffentlichten Policy
Beginne mit eingefügtem Inhalt, nicht mit dem Live-Abruf. Der Paste-Pfad analysiert die Datei lokal im Browser und ist damit der richtige Ort für unveröffentlichte Entwürfe: Eine Policy-Änderung lässt sich durchspielen, bevor irgendein Crawler sie sieht. Ein konkreter Pfad wie / oder /tools/ prüft die Regeln gegen die URL-Formen, auf die es ankommt, und eine eigene Crawler-Liste ergänzt Bots, die im Standardset fehlen.
Lies die drei Kategorien getrennt, bevor du veröffentlichst. Suche, Training und user-getriggerte Agents haben unterschiedliche operative Bedeutung, verändern aber niemals das RFC-Matching. Die Registry zeigt Quellen und Aktualisierungsdatum; eigene Product-Tokens werden unabhängig und ohne erfundene Kategorie geprüft. Der Live-Abruf weist danach Redirects, Status, Medientyp und Grösse getrennt von der geparsten Policy aus.
Matching-Semantik und ihre Grenzen
Eingefügte robots.txt-Inhalte verlassen den Browser nicht; der URL-Modus sendet eine öffentliche /robots.txt-Adresse erst nach explizitem Klick an den Same-Origin-Helper. Der Parser akzeptiert UTF-8 mit optionalem BOM und mindestens 500 KiB, hält Sitemap und unbekannte Felder separat und bildet RFC-9309-Semantik für Redirects, 4xx-unavailable sowie temporäre 5xx-/Unreachable-Fehler ab, ohne daraus dauerhaftes Allow oder Block zu erfinden. robots.txt bleibt eine Anweisung an regelkonforme Crawler, keine Zugriffskontrolle.
Häufige Fragen
Welche Crawler stecken im Standardset?
Die datierte Registry umfasst dokumentierte Tokens von OpenAI, Google, Anthropic, Perplexity und Common Crawl und zeigt ihre Quellen. Labels für Suche, Training und user-getriggerte Agents dienen nur der Erklärung; eigene Product-Tokens lassen sich unabhängig prüfen.
Entfernt ein Trainings-Block meine Inhalte aus bestehenden Modellen?
Nein. robots.txt steuert künftigen Zugriff regelkonformer Crawler. Was vor dem Block gesammelt wurde oder von Betreibern stammt, die die Konvention ignorieren, liegt außerhalb dessen, was diese Datei beeinflussen kann.
Warum trennt der Report Suche, Training und user-getriggerte Agents?
Weil dahinter verschiedene Fragen stehen. Ein Suchindex-Block kostet Sichtbarkeit, ein Trainings-Block ist eine Datenlizenz-Position, und ein Block für user-getriggerte Agents trifft Menschen, die gerade jetzt einen Assistenten nach deiner Site fragen.
Warum greift eine Regel nicht, die eigentlich passen müsste?
Ein Crawler wählt den spezifischsten passenden Product-Token und führt alle Gruppen mit genau diesem Token zusammen. Nicht passende Gruppen — einschliesslich Wildcard bei einem spezifischen Treffer — werden ignoriert. Innerhalb der zusammengeführten Regeln gewinnt der längste Oktett-Match, bei gleicher Länge Allow.
Kann ich Regeln für noch nicht existierende Pfade testen?
Ja. Die Pfadauswertung ist reines String-Matching gegen die eingefügten oder abgerufenen Regeln — ein geplantes URL-Layout lässt sich prüfen, bevor die erste Seite existiert.
Ist eine fehlende robots.txt ein Problem?
Eine fehlende Datei bedeutet schlicht: alles erlaubt für regelkonforme Crawler. Das ist eine legitime Policy — problematisch wird sie nur als Versehen statt als Entscheidung, und genau das macht eine bewusste Prüfung sichtbar.