管理爬网程序影响 (Search Server 2008)

更新时间: 2008年9月

应用到: Microsoft Search Server 2008

上一次修改主题： 2008-09-05

内容爬网可能会给被爬网服务器带来很重的负担，从而对服务器用户的响应时间产生负面影响。因此，建议使用爬网程序影响规则指定爬网程序的执行力度。搜索服务管理员可以使用爬网程序影响规则指定以下项之一，来管理爬网程序对被爬网网站的影响：

• 爬网程序每次可从指定网站中请求的最大文档数。

• 爬网程序可从指定网站中请求任一特定文档的频率。

为了对组织中的内部内容进行爬网，可以根据爬网服务器的性能和容量来设置爬网程序影响规则。例如，您可能会尝试避免在负荷高峰期对内部服务器进行爬网。但是，为了对外部网站进行爬网，这种协调通常不可行。因此，最好是将爬网请求配置为尽量少占用外部网站资源和带宽，这样外部网站管理员可能就不会对您将来的访问进行限制。

在初始部署过程中，请设置爬网程序影响规则，以便在为确保获得较新结果而对服务器进行频繁爬网时，尽量减少对被爬网服务器的影响。在以后的操作过程中，可以根据经验以及爬网日志中的数据来调整爬网程序影响规则。

另请参阅

概念

添加爬网程序影响规则 (Search Server 2008)
编辑爬网程序影响规则 (Search Server 2008)