SEO Tool

Robots.txt Generator

Erstellen Sie eine professionelle robots.txt Datei für Ihre Website

Home SEO Tools Robots.txt Generator

Website URL

Für welche Crawler?

* bedeutet alle Suchmaschinen-Crawler

Zugriffsberechtigung

Alle Bereiche erlauben (mit Ausnahmen) Komplette Website blockieren

Verzeichnisse/Dateien blockieren

Ein Pfad pro Zeile. Beispiel: /admin/ oder *.pdf

Crawl-Verzögerung (Sekunden)

Optional: Pause zwischen Crawler-Anfragen

Sitemap URL

Optional: Link zu Ihrer XML-Sitemap

Zusätzliche Regeln (Optional)

# Robots.txt Vorschau\n# Füllen Sie das Formular aus, um Ihre robots.txt zu generieren

Anleitung

Was ist robots.txt?

Steuern Sie, wie Suchmaschinen Ihre Website crawlen

Blockieren Sie sensible Bereiche wie Admin-Panels, private Ordner oder Entwicklungsumgebungen.

Steuern Sie, welche Bereiche wichtig sind und vermeiden Sie Verschwendung von Crawl-Budget.

Verweisen Sie direkt auf Ihre XML-Sitemap, damit Crawler alle wichtigen Seiten finden.

Speicherort: Die robots.txt muss im Root-Verzeichnis Ihrer Domain liegen (z.B. https://ihredomain.de/robots.txt)
Keine Sicherheit: robots.txt ist keine Sicherheitsmaßnahme. Verwenden Sie Passwortschutz oder .htaccess für wirklichen Schutz.
Syntax beachten: Fehler in der Syntax können dazu führen, dass Crawler Ihre Anweisungen ignorieren.
Testen: Nutzen Sie die Google Search Console, um Ihre robots.txt zu testen.
Wildcards: * blockiert alle Pfade, *.pdf blockiert alle PDF-Dateien.