Die robots.txt ist eine (im SEO-Sinne) wichtige Textdatei, die Du im Hauptverzeichnis deiner Domain ablegst.
Die robots.txt enthält ein Paar Zeilen Informationen für die sogenannten Spider, Robots und Crawler. Inhaltlich stehen da nur so Dinge wie „Guck Dir das an“, „geh hier hin“ oder „guck Dir das nicht an, lieber Spiderbot“ – nur eben anders formuliert.
Du kannst so also Inhalte für Crawler freigeben oder auch sperren, damit die Daten eben nicht von den Suchmaschinen ausgelesen werden. Wissen sollte man dabei nur, dass auch eine Sperrung nicht die Indexierung der Seite verhindert. Wer es nicht weiß: „Indexierung“ ist die Aufnahme deiner Webseite in den Datenbestand einer Suchmaschine.
Kleiner SEO-Tipp:
Um Seiten wirklich von der Indexierung auszuschließen, sollte schon mal was von HTML META Tags gehört haben und wissen, wo man die folgenden Zeilen einträgt (Tipp: <head> Bereich deiner Website).
Die Zeilen lauten wie folgt:
<meta name=“robots“ content=“noindex“>
Wenn Du nur Google Web Crawler von der Indexierung ausschließen möchtest, dann geht auch:
<meta name=“googlebot“ content=“noindex“>
Neueste Kommentare