robots.txt-Generator

Eine robots.txt mit erlaubten und gesperrten Pfaden erstellen.

Allgemeine Richtlinie

Crawl-Verzögerung (optional)

Gesperrte Pfade (einer pro Zeile)

Sitemap-URL

robots.txt

User-agent: *
Disallow: /admin
Disallow: /cart
Allow: /

Sitemap: https://example.com/sitemap.xml

So funktioniert es

1Wählen Sie die allgemeine Richtlinie für Ihre Website.
2Schreiben Sie die gesperrten Pfade zeilenweise.
3Legen Sie die Ausgabe in der robots.txt-Datei im Stammverzeichnis Ihrer Website ab.

Beispielrechnung

"Disallow: /admin" bedeutet, dass Bots den Admin-Bereich nicht crawlen.

Wo wird robots.txt platziert?

Im Stammverzeichnis der Domain, also unter example.com/robots.txt

Verhindert Disallow die Indexierung?

Nicht immer; verwenden Sie den Meta-Tag noindex, um die Indexierung sicher zu verhindern.