1、robots.txt文件，放在哪里？该文件必须放在网站的根目录中，如百度的
3、robots.txt的注释怎么写？注释的不是指令的一部分，主要作用是用于网站管理员的查看和阅读，注释以#号开始，如:# 这一行是注释的部分
5、robots.txt文件怎么允许指定蜘鼍阼俾岗蛛爬虫的可以访问，其他爬虫不可能访问，如：# 允许百度Spider访问网站User幻腾寂埒-agent: BaiduspiderAllow: /# 禁止百度Spider以外的其他爬虫访问User-agent: *Disallow: /
