Tipps und Tricks zur Suchmaschinenoptimierung
Die robots.txt Datei
Legen Sie in Ihrem Stammverzeichnis eine Datei namens robots.txt an. Diese spielt zwar keine Rolle für das Suchmaschinen-Ranking, ist aber von Vorteil für die Aufnahme Ihrer Website in den Suchmaschinen-Index. In dieser Datei können Sie angeben, welcher Suchmaschinen-Robot welche Projektverzeichnisse auslesen darf und welcher was nicht lesen darf.
Das unten gezeigte Beispiel setzt sich wie folgt zusammen:
Die erste Zeile ist eine Kommentar-Zeile die sonst keinerlei Funktion hat.
Die Angabe "User-agent: " kann entweder mit dem Suchmaschinen-Robot-Namen oder mit einem "*" (was so viel bedeutet wie "alle Robots") ergänzt werden.
Anschließend folgen eine oder mehrere Zeilen mit der Angabe "Disallow: " gefolgt
von einem Verzeichnis- oder einem Datei-Namen. Dies bestimmt ob das Verzeichnis
oder die Datei von dem Robot ausgeschlossen wird.
Beispiel einer robots.txt:
# robots.txt zu http://www.mein-domain.tld/
User-agent: *
Disallow: /test/
Disallow: /test-datei.html
