1、爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面（也就是链接指向的URL）的过程。当然，蜘蛛并不是发现新URL马上就爬过去抓取新页面，而是把发现的URL存放到待抓地址库中，蜘蛛按照一定顺序从地址库中提取要抓取的URL。
3、索引指的是将一个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的，所以被索引的URL是可以被用户搜索到的，没有被索引的URL用户在搜索结果中是看不到的。
5、robots文件的作用：robots文件是告诉搜索引擎，某些URL不要抓取。注意，这里说的是不要抓取，没说不要索引。和noindex是正相反的。
7、收录是指搜索引擎把网站索引到自己的数据库中，常见的搜索引擎收录有百度收录、谷歌收录、搜狗收录、有道收录、雅虎收录、夸搜收录、泽许收录等。用户可以通过搜索引擎提交入口提交网站吸徂葛幢捎引蜘蛛抓取页面，或通过外部链接吸引搜索引擎访问网站页面，当搜索引擎认为页面符合收录标准时，就会收录于网站页面。网站收录，在搜索引擎角度来讲也叫网站索引，被很多SEO称为网站收录，搜索引擎在爬取你的网页以后，通过对网页内容进行检测，如果内容符合收录规则，就将网页加入自己的索引库，当用户查询相关内容时，这个网页就会出现在搜索结果，所以百度收录是什么意思?就可以解释为百度爬取了你的网页，并认为你的网页内容符合收录规则或者说有价值，百度会将你的网页加入他的索引库，并且让你的网页将会出现在与你网页内容相关的查询的搜索结果中。
