... das robots.txt File (http://www.website.ch/robots.txt) ... Eine Anleitung auf Deutsch ist unter http://de.selfhtml.org/diverses/robots.htm zu...

16 Jul 2009 ... Information on the robots.txt Robots Exclusion Standard and other articles about writing well-behaved Web robots.

Die Datei robots.txt ist eine Textdatei in einem einfach lesbaren Format. Jede Zeile besteht aus zwei Feldern, die durch einen Doppelpunkt getrennt...