高端定制，品牌设计
指南针2005 - 2016作品集
指南针网络科技有限公司
做seo就是为了取悦搜索引擎那么我们必须要了解搜索引擎抓取页面的方式 搜索引擎不可能一次性抓取到网站中所有的页面而且网站中页面的数量也会不断地变化内容也在不断地更新。因此搜索引擎还需要对已经抓取的页面进行维护、更新以便能及时获取页面中最新的信息及抓取更多的新页面。常见页面维护方式包括定期抓取、增量抓取及分类定位抓取。
●定期抓取 定期抓取也称为周期性抓取即搜索引擎周期性地对网站中已收录的页面进行全面更新。更新的时候把抓取到的新页面替换原有的旧页面删除不存在的页面并存储新发现的页面。周期性更新针对的是全部已收录的页面因此更新周期会比较长。例如Google-般是3060天才会对已收录的页面进行更新。 定期抓取算法的实现相对简单。由于每次更新涉及到网站中所有已经收录的页面因此页面权重的再分配也是同步进行的。这种方式适用于维护页面比较少、内容更新缓慢的网站例如普通的企业网站。但是由于更新周期十分漫长这就导致不能及时向用户反映更新其间页面的变化情况。例如某个页面的内容更新以后至少需要3060天才能在搜索引擎上有所体现。
●增量抓取 增量抓取是通过对已抓取的页面进行定时监控实现对页面的更新及维护。但是对网站中的每个页面都进行定时监控的做法是不现实的。基于重要页面携带重要内容的思想以及80/20法则搜索引擎只需对网站中部分重要页面进行定时的监控即可获取网站中相对重要的信息。因此增量抓取只针对网站中某些重要的页面而非所有已经收录的页面这也是为什么搜索引擎对重要页面的更新周期会更短的原因。例如内容经常更新的页面搜索引擎也会经常对其进行更新从而可以及时发现新内容、新链接并删除不存在的信息。 由于增量抓取是在原有页面的基础上进行的因此会大大缩减搜索引擎的抓取时间而且还可以及时向用户展示页面中最新的内容。
●分类定位抓取 与增量抓取由页面重要性决定不同分类定位抓取是指根据页面的类别或性质而制定相应更新周期的页面监控方式。例如对于“新闻资讯”与“资源下载”这两类页面新闻资讯类页面的更新周期可以精确到每分钟而下载类页面更新周期就可以定为一天或更长。 分类定位抓取对不同类别的页面进行分开处理这样就可以节省大量的抓取时间并大大提高页面内容的实时性也增强页面抓取的灵活性。但是按照类别而制定页面更新周期的方式比较笼统很难跟踪页面的更新情况。因为即使是相同类别的页面在不同的网站上内容的更新周期也会存在很大的差别。例如新闻类页面在大型门户网站中内容的更新速度就会比其他小型网站快得多。
所以还需要结合其他的方式例如增量抓取等对页面进行监控、更新。 实际上搜索引擎对网站中页面的维护也是结合多种方式进行相当于间接为每一个页面选择最合适的维护方式。这样既可以减少搜索引擎的负担又可以为用户提供及时的信息。 例如在一个网站中会存在多种不同性质的页面常见的包括首页、论坛页面、内容页面等。对于更新比较频繁的页面例如首页可以使用增量抓取方式对其进行监控这样就可以对网站中相对重要的页面进行及时更新而对于实时性非常高的论坛页面则可以采用分类定位的抓取方式而为了防止遗漏网站中的某些页面还需要采用定期抓取的方式。
