robots.txt

Die robots.txt ist eine Textdatei, die im Wurzelverzeichnis einer Domain liegen muss, also direkt unter der Adresse /robots.txt. Sie folgt dem Robots Exclusion Protocol, das seit 2022 als offizieller Standard (RFC 9309) festgeschrieben ist. Bevor ein gutwilliger Crawler eine Website durchsucht, ruft er zuerst diese Datei ab und richtet sich nach den darin formulierten Regeln.

Eine robots.txt besteht aus Regelblöcken. Jeder Block beginnt mit einer User-Agent-Zeile, die einen bestimmten Bot anspricht, gefolgt von Disallow- und Allow-Anweisungen, die Pfade sperren oder freigeben. So kannst du jedem Crawler einzeln vorgeben, welche Verzeichnisse er meiden soll und welche er abrufen darf.

Für klassisches SEO entscheidet die robots.txt darüber, ob der Googlebot deine Inhalte überhaupt abrufen darf. Sperrst du wichtige Bereiche versehentlich, kann Google sie nicht crawlen und schlechter oder gar nicht ranken. Umgekehrt hilft die richtige Steuerung, das Crawl-Budget auf relevante Seiten zu lenken und unwichtige Bereiche wie interne Suchergebnisse oder Filter-URLs auszuklammern.

Für GEO (Generative Engine Optimization) ist die robots.txt der zentrale Hebel, um KI-Crawler zu steuern. KI-Systeme wie ChatGPT, Perplexity, Google AI Overviews und Claude nutzen eigene Bots, die sich mit eigenem User-Agent identifizieren. Sperrst du diese pauschal, kann die jeweilige KI deine Seite nicht abrufen und folglich nicht als Quelle zitieren. Wer in KI-Antworten erscheinen will, muss den richtigen Crawlern Zugang gewähren.

Ein häufiges Missverständnis: Eine Disallow-Regel verhindert nicht zuverlässig, dass eine Seite im Google-Index auftaucht. Sie verhindert nur, dass der Bot den Seiteninhalt abruft. Ist eine gesperrte URL stark verlinkt, kann Google sie trotzdem ohne Inhaltsbeschreibung in den Suchergebnissen listen.

Willst du eine Seite sicher aus dem Index halten, gehört dazu ein Meta-Robots-Tag mit 'noindex' im HTML der Seite oder ein entsprechender HTTP-Header. Damit Google das 'noindex' aber überhaupt sieht, darf die Seite nicht zusätzlich per robots.txt gesperrt sein. Crawling-Steuerung (robots.txt) und Index-Steuerung (noindex) sind also zwei getrennte Werkzeuge, die du nicht verwechseln solltest.

In einem SEO/GEO-Audit ist die robots.txt einer der ersten Prüfpunkte, weil sie an der Wurzel der Crawlbarkeit steht. Geprüft wird, ob die Datei erreichbar ist und mit Statuscode 200 ausgeliefert wird, ob keine wichtigen Verzeichnisse versehentlich gesperrt sind und ob die Sitemap korrekt referenziert ist. Auf der GEO-Ebene wird zusätzlich geprüft, wie die Datei mit KI-Crawlern umgeht.

Typische Befunde sind eine 'Disallow: /', die aus einer Test- oder Staging-Phase stehengeblieben ist und die gesamte Website blockiert, oder eine Konfiguration, die GPTBot und ClaudeBot pauschal aussperrt, obwohl die Seite in KI-Antworten erscheinen soll. Auf deingeoaudit.de kannst du kostenlos prüfen, ob deine Seite bei Google rankt und von KI-Systemen zitiert werden kann — der Zustand der robots.txt fließt dabei mit ein.

Halte die robots.txt so einfach wie möglich und sperre nur das, was wirklich nicht gecrawlt werden soll. Im Zweifel ist eine offene robots.txt sicherer als eine zu restriktive, weil eine versehentliche Total-Sperre erheblichen Schaden anrichten kann. Prüfe in deinen Server-Logs, welche Bots dich tatsächlich besuchen, und entscheide pro Crawler bewusst.