1、 在“百度搜索帮助中心”中， 对如何禁止百度蜘蛛访问是这样定义的：User-agent:BaiduspiderDisallow:/ 仅允许百度蜘蛛的访问：User-agent多唉捋胝:BaiduspiderDisallow: 禁止百度蜘蛛访问特定目录：User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/~joe/
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/50189b40102a04e232547cf62b7aa010bd33c249.jpg)
3、例2
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/35fa07efa25f0c14d48d94360d89a146b6b1384e.jpg)
5、例4
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/7efc527c34b33c41134c95f5887de137c8762e4e.jpg)
7、例6
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/2a1ecb460596b814d826f3b743d246fe464e224e.jpg)
9、例8
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/51f9aa3ea8db574ac3c4d528a7f7dfb2dd19174e.jpg)
11、例10
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/cfadcdd96975f2c4a46f1ff78f0148fe1f42064e.jpg)
13、例12
![SEO新手必看基础：[13]robots.txt文件应用](https://exp-picture.cdn.bcebos.com/edafb3bcbe2f477011ee996e6f3b3b860321794e.jpg)
14、新旧页面的处理方法：新旧页面的处理议陬涸渎即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。
