1、首先我们需要了骈禄笫杳解下robot.txt文件的用途。说到robot.txt不得不提到robot（又称spider），robot就是搜索机器人，它能够自动访问互联网上的网页并获取网页信息。它会首先检查该站点根目录下是否存在robots.txt，如果存在，就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
3、一般情况下robot.txt文件会以User-agent:开头，该项的值用于描述搜索引擎机器人robot的名字。例如User-agent:Baiduspider，就是针对百度蜘蛛进行的协议约束，robots.txt文件中至少要有一条User-agent记录。如果该项的值设为*（通配符），则该协议对任何搜索引擎机器人均有效。如果使用通配符，这样的记录只能有一条。
5、很多时候我们需要Disallow的文件或者目录并不止一个，有些人可能会图省事，直接把所有的文件或者目录都写在了一个Disallow中，其实这是一种错误的做法，正确的做法是一个Disallow的对应一个文件或者目录，有多少个目录或者文件需要设置就写几个Disallow的。
7、虽然我们有些目录不想被搜索机器人抓取，但是也不能写到robot.txt文件中，例如后台管理地址。相信这个目录大家都不想被蜘蛛攀爬，但是千万不要写入robot文件中，因为它可以被任何人访问，这样无形中让别人通过这个文件知道了你的后台地址，最后的结果只会事与愿违。
