Die robots.txt Datei dient dazu einer Suchmaschine zu sagen welche teile des Blogs indexiert werden sollen und welche nicht. Dadurch kann man z.B. auch vermeiden dass über Google nach exploits in Plugins gesucht werden kann, da der Plugin-Ordner über die robots.txt Datei ausgeklammert wurde.
Des weiteren kann man über die robots.txt eine Sitemap der Seite verlinken welche es den Suchmaschinen einfacher macht, die Seite zu indexieren.
Hier der Auszug aus der robots.txt. Diese muss im Hauptverzeichnis der Domain sein.
User-agent: *
Sitemap: https://www.camma.ch/sitemap.xml
# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wpcontent/themes/
Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /*?*
Disallow: */trackback/
User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /category/
Disallow: /tag/
Disallow: /archives/
Disallow: /feed/
Disallow: /wp-*
Allow: /wp-content/uploads/
# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Allow: /*
# Dem AdSense Bot erlauben die Seite zu indexieren
User-agent: Mediapartners-Google*
Disallow: /*?*
Allow: /wp-content/
Allow: /tag/
Allow: /category/
Allow: /*.php$
Allow: /*.js$
Allow: /*.inc$
Allow: /*.css$
Allow: /*.gz$
Allow: /*.cgi$
Allow: /*.wmv$
Allow: /*.cgi$
Allow: /*.xhtml$
Allow: /*.php*
Allow: /*.gif$
Allow: /*.jpg$
Allow: /*.png$
# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /
# duggmirror unterbinden
User-agent: duggmirror
Disallow: /
Die sitemap.xml kann durch das Plugin Google XML Sitemaps erstellt werden.