九枝兰：很多人经常混淆“抓取”和“索引”这两个概念，你能否解释一下，以及页面在什么情况下应该追求索引，什么时候应该追求收录？

 

昝辉：页面不要被抓取一般在这种情况下使用：对于一个特定的网站，搜索引擎抓取网站的时长基本是固定的，所以我们应该把抓取时间用在核心页面上。对于一些大网站，这一点尤其重要，由于网站太大，如果把抓取时间都放在一些过滤页面上，很容易一组合就几百万几千万个页面了，搜索引擎没有机会也没有时间再去访问你想要被访问的页面。所以有的时候，你可能希望搜索引擎不要抓某些页面。那么，那些你不想让抓的页面的链接尽量不要在网站上出现。你可以用Java去隐藏，或者加nofollow，或者用robots文件禁止搜索引擎去抓这些文件。

 

另外一种情况是，你可以让搜索引擎抓，但是不想让搜索引擎索引，“索引”也就是把这个页面的信息放在它的数据库当中。有的时候，这两个，不让抓取和不让索引是相反的过程，比如说刚才讲的上面提到的过滤页面。有的时候，其实如果你的网站没有那么大，你的抓取时间还没有达到搜索引擎分配给你的上限，那可以让这些页面抓取，但是你不想被收录，因为这些页面往往都是重复内容，因为它无非就是换个搜索条件，换个筛选条件，重排了一遍，产品还是一样，所以经常是大量的重复内容。如果这种重复页面多了的话，搜索引擎有可能认为这个网站是不是有什么问题，或者总体质量不太高。那么你可以让搜索引擎不去索引这些页面。你要用页面头上的no index标签，放上no index以后，这些页面就不会被放到索引库里。所以在搜索这些页面的时候，是没有结果的。但这些页面其实是被抓取过的，因为如果没有被抓取的，搜进去根本看不见no index这个标签，但是你不想让它被收录。所以“抓取”和“索引”是两种不同的情况，处理的时候也要用不同的方法。你需要根据网站的具体情况确定使用哪种技术方法去实现。

 

九枝兰：当网站巨大，页面数量特别达到千万或上亿量级，就会出现这样的情况：有一些页面非常难被收录。针对这一块，有没有好的解决方案？

 

昝辉：有时候这种情况不可避免，但是我们可以去尽量想办法。

 

第一， 提高网站整体的权重。整体权重的提高，就会使搜索引擎分配给你的抓取时间也提高，然后整个网站能被带动，也就使所能允许被索引的页面总数也能提高。权重很低的网站，它可能就给你三个页面，你只能收录那么多，然后抓取时间也很少。但是像新浪啊，阿里巴巴那种级别的，域名又老，权重又高，给它的时间也长，能抓取的机会，能收录的数量也会相应地提高。这是一方面，提高域名的总体权重。

 

另一方面，提高整个网站内容的平均质量。也就是说尽量让原创内容更多一点，更新的速度更快一点，使搜索引擎觉得你这个网站内容都是原创的，这样它能够更快地收录你的网站，也能够消除一些像刚才讲的不利于SEO的重复内容。

 

第三个方面，就是刚才讲的，SEO工作过程里面的第二步：网站架构的设计。大的网站，页面多，就必然要想很多方法，怎么能够使搜索引擎蜘蛛从首页出发，能够尽快达到所有的页面。比如说不要超过4次到5次点击距离，如果是大一点的网站，可能6到7次点击距离。但对于大网站，页面特别多，往往是无论你怎么安排链接，怎么安排导航结构，都很难使所有的页面都在4次点击距离内。通过网站页面之间互相的内链，内链的安排，相关栏目相关产品内链的安排，去使搜索引擎蜘蛛从那些已经被收录的页面或者栏目，找到一个通路，到达那些没有被收录的页面。基本上，这些方法能够尽量使网站被收录和被抓取的页面能够越多越好。