robots.txt-Generator
Eine robots.txt mit erlaubten und gesperrten Pfaden erstellen.
User-agent: * Disallow: /admin Disallow: /cart Allow: / Sitemap: https://example.com/sitemap.xml
Über den robots.txt-Generator
Die robots.txt-Datei ist das Erste, was Suchmaschinen-Crawler lesen, bevor sie Ihre Website durchsuchen; sie legt fest, welche Bereiche gecrawlt werden dürfen und welche nicht. Diese Datei von Hand mit ihrer eigenen Syntax aus User-agent, Disallow und Allow zu schreiben, verwirrt viele Nutzer, und schon ein kleiner Fehler kann die ganze Website versehentlich vor Google verstecken. Der robots.txt-Generator von Abzario erzeugt aus wenigen einfachen Auswahlmöglichkeiten – etwa generelle Indexierung erlauben oder die ganze Seite sperren, eine Liste gesperrter Pfade und die Sitemap-URL – eine fertige Standarddatei. Speichern Sie die Ausgabe einfach als Textdatei namens robots.txt und laden Sie sie in das Root-Verzeichnis Ihrer Domain hoch. Das Tool ist besonders nützlich für Website-Betreiber, die Crawler von Admin-Bereichen, Warenkörben oder Testseiten fernhalten möchten und dabei gleichzeitig korrekt auf ihre Sitemap verweisen wollen.
So funktioniert es
- 1Wählen Sie die allgemeine Richtlinie für Ihre Website.
- 2Schreiben Sie die gesperrten Pfade zeilenweise.
- 3Legen Sie die Ausgabe in der robots.txt-Datei im Stammverzeichnis Ihrer Website ab.
Warum dieses Tool nutzen?
- Erstellt schnell eine standardkonforme robots.txt ohne manuelle Syntax lernen zu müssen
- Wahl zwischen Indexierung mit Ausnahmen erlauben oder die gesamte Seite sperren
- Mehrere Disallow-Pfade gleichzeitig hinzufügen, einer pro Zeile
- Fügt die Sitemap-URL automatisch am Ende der Datei für Crawler ein
- Unterstützt die Einstellung eines Crawl-delay zur Steuerung der Crawling-Geschwindigkeit
- Kopierfertige Ausgabe, die direkt ins Domain-Root hochgeladen werden kann
Praxisbeispiele
Admin-Bereich sperren
Das Auflisten von /admin und /wp-admin unter den gesperrten Pfaden erzeugt Zeilen wie „Disallow: /admin“ und „Disallow: /wp-admin“, damit Crawler nie in den Admin-Bereich gelangen.
Auf die Sitemap verweisen
Die Eingabe von https://example.com/sitemap.xml im Sitemap-Feld fügt „Sitemap: https://example.com/sitemap.xml“ am Ende der Datei hinzu, damit Google alle Seiten schneller findet.
Die gesamte Website für Crawler sperren
Für eine Website in Entwicklung, die noch nicht indexiert werden soll, erzeugt die Option „gesamte Website sperren“ „User-agent: *“ und „Disallow: /“, wodurch die ganze Domain für Crawler gesperrt wird.
Indexierung mit wenigen Ausnahmen erlauben
Für einen Shop, der Produktseiten indexiert haben möchte, aber nicht Warenkorb oder Kasse, sperrt die Liste /cart und /checkout neben „Allow: /“ nur diese beiden Pfade.
Häufige Fragen
Wo wird robots.txt platziert?
Im Stammverzeichnis der Domain, also unter example.com/robots.txt
Verhindert Disallow die Indexierung?
Nicht immer; verwenden Sie den Meta-Tag noindex, um die Indexierung sicher zu verhindern.
Was passiert, wenn meine Website gar keine robots.txt hat?
Ohne diese Datei behandeln Crawler die gesamte Website in der Regel als crawlbar; das Fehlen der Datei ist an sich kein Problem, aber Sie verlieren die Möglichkeit, das Crawling gezielt zu steuern.
Kann ich unterschiedliche Regeln für verschiedene Bots festlegen?
Ja, mit mehreren separaten User-agent-Blöcken – etwa einem für Googlebot und einem für alle anderen – können Sie unterschiedliche Regeln setzen; dieses Tool erzeugt eine Basisausgabe mit einer allgemeinen Regel für alle Bots.
Warum erscheint eine in robots.txt gesperrte Seite trotzdem bei Google?
Disallow verhindert nur das Crawling, nicht die Indexierung; verweisen andere Seiten auf diese URL, kann Google die Adresse ohne Inhalt trotzdem anzeigen. Um dies sicher zu verhindern, sollten Sie stattdessen ein noindex-Meta-Tag verwenden.
Wofür wird Crawl-delay verwendet?
Diese Anweisung sagt Crawlern, wie viele Sekunden sie zwischen Anfragen warten sollen, um die Serverlast zu senken; nützlich für stark frequentierte Seiten mit begrenzten Ressourcen, auch wenn Google sie ignoriert.