规划爬网和联合 (SharePoint Server 2010)

适用于： SharePoint Server 2010

上一次修改主题： 2016-11-30

您必须首先对要供用户搜索的内容进行爬网或联合，最终用户才能使用 Microsoft SharePoint Server 2010 中的企业级搜索功能。规划爬网或联合包括以下任务：

• 规划内容源

• 规划文件类型包含和 IFilter

• 规划身份验证

• 规划连接器

• 规划管理爬网影响

• 规划爬网规则

• 规划在服务器场级别管理的搜索设置

• 规划联合

规划内容源

内容源 是一组选项，可以用来指定要对其进行爬网的内容类型、要对其进行爬网的 URL、爬网的深度以及爬网时间。默认内容源是“本地 SharePoint 网站”。您可以使用此内容源来指定如何对与特定 Search Service 应用程序相关的所有 Web 应用程序中的所有内容进行爬网。默认情况下，对于使用特定 Search Service 应用程序的每个 Web 应用程序，SharePoint Server 2010 会将每个网站集的首要网站的开始地址添加到默认内容源中。

一些组织可以使用默认内容源来满足其搜索要求。但是，许多组织必须具有其他内容源。在您必须执行下列操作时需规划其他内容源：

• 对不同类型的内容（例如 SharePoint 网站、文件共享和业务数据）进行爬网。

• 按与其他内容不同的计划对某些内容进行爬网。

• 限制或增加要对其进行爬网的内容的数量。

• 为不同网站的爬网设置不同的优先级。

您最多可以在每个 Search Service 应用程序中创建 500 个内容源，并且每个内容源最多可以包含 500 个开始地址。若要尽可能简化管理，建议您限制所创建的内容源的数量。

规划对不同种类的内容的爬网

您只能对每个内容源的一种内容进行爬网。也就是说，您可以创建一个包含 SharePoint 网站的开始地址的内容源和另一个包含文件共享的开始地址的内容源。但是，您不能创建同时包含 SharePoint 网站和文件共享的开始地址的单个内容源。下表列出了您可以配置的内容源种类。

规划业务数据的内容源

业务数据内容源要求在 Business Data Connectivity Service 应用程序中的应用程序模型中指定承载数据的应用程序。您可以创建一个内容源来对 Business Data Connectivity Service 中注册的所有应用程序进行爬网，也可以创建单独的内容源来对各个应用程序进行爬网。

通常，计划将业务数据集成到网站集中的人员不是总体内容规划过程中所涉及的相同人员。因此，在内容规划工作组中包括业务应用程序管理员，以便他们可以告诉您如何将业务应用程序数据集成到内容中并有效地在网站集中呈现该数据。

按不同的计划对内容进行爬网

您必须决定对一些内容进行爬网的频率是否高于其他内容。您对其进行爬网的内容量越大，您对来自不同内容库的内容进行爬网的可能性就越大。内容可能不是相同类型，并可能位于不同容量的服务器上。这些因素使您很可能必须添加内容源以便按不同的计划对不同的内容库进行爬网。

按不同的计划对内容进行爬网的主要原因如下：

• 适应停机时间和高峰使用时间段。

• 对较频繁更新的内容较频繁地进行爬网。

• 分别对位于较慢服务器上的内容和位于较快服务器上的内容进行爬网。

在许多情况下，直到部署了 SharePoint Server 2010 并运行了一段时间后，才能知道所有这些信息。在这些情况下，您必须在服务器场投入生产后指定爬网计划。不过，最好在规划期间考虑这些因素，以便您可以根据所拥有的信息制定爬网计划。

下面两节提供了有关按不同计划对内容进行爬网的详细信息。

制定爬网计划时的注意事项

您可以为每个内容源独立配置爬网计划。对于每个内容源，您可以指定执行完全爬网的时间和执行增量爬网的不同时间。请注意，您必须对特定内容源运行完全爬网，然后才能运行增量爬网。对于尚未对其进行爬网的内容，即使您指定增量爬网，系统也会执行完全爬网。

建议您根据爬网和查询服务器的可用性、性能和带宽注意事项制定爬网计划。

在制定爬网计划时，请考虑以下最佳实践：

• 基于承载内容的服务器的类似可用性和可接受的总体资源使用状况，对内容源中的开始地址进行分组。

• 在承载内容的服务器可用时以及在服务器的资源需求较低时计划对每个内容源进行增量爬网。

• 错开爬网计划，以便服务器场中服务器上的负载随时间分布。

• 仅在因下节中列出的原因而必须执行时计划完全爬网。建议您运行完全爬网的频率低于增量爬网。

• 在制定的完全爬网计划前不久计划需要完全爬网的管理更改。例如，建议在下一个计划的完全爬网之前安排创建爬网规则，这样就不必执行其他完全爬网。

• 使并发爬网基于可用容量。为实现最佳性能，建议您错开内容源的爬网计划。您可以在熟悉每个内容源的典型爬网持续时间后随时间优化爬网计划。

执行完全爬网的原因

Search Service 应用程序管理员执行完全爬网的原因包括：

• 在服务器场中的服务器上安装了软件更新或 Service Pack。有关详细信息，请参阅软件更新或 Service Pack 的说明。

• Microsoft Office SharePoint Server 2007 共享服务管理员或 SharePoint Server 2010 Search Service 应用程序管理员添加了新托管属性。需要进行完全爬网来使新托管属性立即生效。如果不希望新托管属性立即生效，则无需进行完全爬网。

• 您希望对 Windows SharePoint Services 3.0 或 Microsoft Office SharePoint Server 2007 网站上的 ASPX 页重新编制索引。

  备注

  爬网程序无法发现 Windows SharePoint Services 3.0 或 Office SharePoint Server 2007 网站上的 ASPX 页何时发生了更改。因此，在删除各个列表项后，增量爬网不会对视图或主页重新编制索引。建议您定期对包含 ASPX 文件的网站进行完全爬网以确保对这些网页重新编制了索引。

• 您希望处理连续的增量爬网故障。如果增量爬网在库中的任何级别上连续失败一百次，则系统会从索引中移除受影响的内容。

• 添加、删除或修改了爬网规则。

• 您希望修复损坏的索引。

• Search Service 应用程序管理员创建了一个或多个服务器名称映射。

• 分配给默认内容访问帐户的用户帐户凭据或爬网规则已更改。

在以下情况下，即使请求进行增量爬网，系统也会执行完全爬网：

• 搜索管理员停止了上一次爬网。

• 还原了内容数据库，或者服务器场管理员分离了内容数据库，然后重新附加了它。

  备注

  如果运行的是带有 Microsoft Office Server 的基础结构更新的 Office SharePoint Server 2007 或 SharePoint Server 2010，则可以使用 Stsadm 命令行工具的还原操作来更改内容数据库还原是否引发完全爬网。

• 从未从此 Search Service 应用程序对网站执行过完全爬网。

• 更改日志中未包含要对其进行爬网的地址的条目。更改日志中没有要对其进行爬网的项目的条目，增量爬网无法执行。

初始部署后，可以根据服务器场中服务器和承载内容的服务器的性能和容量调整计划。

限制或增加要对其进行爬网的内容数量

对于每个内容源，您可以指定要在多大范围内对开始地址进行爬网。您还可以通过更改爬网设置来指定爬网行为。可用于特定内容源的选项因所选内容源类型而异。但是，大多数爬网选项都会指定要对层次结构中每个开始地址以下多深的层次进行爬网。请注意，此行为适用于特定内容源中的所有开始地址。如果您必须对较深层次上的一些网站进行爬网，则可以创建包括这些网站的其他内容源。

您可以使用爬网设置选项来限制或增加要对其进行爬网的内容数量。每个内容源的属性中可用的选项因所选内容源类型而异。下表描述了配置爬网设置选项时的最佳实践。

规划内容源时的其他注意事项

您不能在同一 Search Service 应用程序中使用多个内容源对相同开始地址进行爬网。例如，如果您使用特定内容源对网站集及其所有子网站进行爬网，则不能使用其他内容源按不同的计划单独对其中一个子网站进行爬网。

除了考虑爬网计划外，您做出的有关是将开始地址分组在单个内容源中还是创建其他内容源的决定很大程度上取决于管理注意事项。管理员通常进行更新特定内容源的更改。更改内容源需要对该内容源中指定的内容库进行完全爬网。为简化管理，应以管理员可以方便地更新内容源、爬网规则和爬网计划的方式组织内容源。

规划文件类型包含和 IFilter

仅当相关文件扩展名包括在文件类型包含列表中且支持这些文件类型的爬网服务器上安装了 IFilter 时，才能对内容进行爬网。在初始安装期间，自动包括了几种文件类型和 IFilter。在初始部署中规划内容源时，应确定要对其进行爬网的内容是否使用了未包括的文件类型。如果未包括文件类型，您必须在部署期间在“管理文件类型”页上添加这些文件类型，并确保已安装并注册了支持这些文件类型的 IFilter。

如果要将某些文件类型排除在爬网之外，可以从文件类型包含列表中删除该文件类型的文件扩展名。这样做会将具有该扩展名的文件名排除在爬网之外。有关默认安装的文件类型和 IFilter 的列表，请参阅文件类型和 IFilter 引用 (SharePoint Server 2010)。

规划身份验证

当爬网程序访问内容源中列出的开始地址时，爬网程序必须经承载该内容的服务器验证并有权访问这些服务器。这意味着，爬网程序使用的域帐户必须至少对内容具有读取权限。

默认情况下，系统使用默认内容访问帐户。您也可以使用爬网规则来指定要在对特定内容进行爬网时使用的其他内容访问帐户。无论您是使用默认内容访问帐户还是由爬网规则指定的其他内容访问帐户，您使用的内容访问帐户都必须对要对其进行爬网的所有内容具有读取权限。如果内容访问帐户没有读取权限，则不会对内容进行爬网和编制索引，因而不可用于查询。

建议您指定为默认内容访问帐户的帐户有权访问大多数已爬网内容。仅当安全注意事项需要不同的内容访问帐户时，才使用其他内容访问帐户。

对于您规划的每个内容源，应确定默认内容访问帐户无法访问的开始地址，然后计划为这些开始地址添加爬网规则。

另一个重要的注意事项是爬网程序必须与主机服务器使用相同的身份验证协议。默认情况下，爬网程序通过使用 NTLM 进行身份验证。如果需要，您可以将爬网程序配置为使用其他身份验证协议。

如果使用的是基于声明的身份验证，请确保要对其进行爬网的任何 Web 应用程序上已启用 Windows 身份验证。

规划连接器

要对其进行爬网的所有内容要求您使用连接器（在以前版本中称为协议处理程序）来获得对该内容的访问权。SharePoint Server 2010 为所有常用 Internet 协议提供了连接器。但是，如果您要对其进行爬网的内容所需的连接器没有随 SharePoint Server 2010 一起安装，则必须安装第三方或自定义连接器，然后才能对该内容进行爬网。有关默认安装的连接器的列表，请参阅默认连接器 (SharePoint Server 2010)。有关如何安装连接器的信息，请参阅安装连接器 (SharePoint Server 2010)。

规划管理爬网影响

对内容进行爬网会显著降低承载内容的服务器的性能。这对特定服务器的影响因以下因素而异：主机服务器经历的负载，以及服务器是否具有足够的资源（尤其是 CPU 和 RAM）来在普通或高峰使用时段维护服务级别协议。

搜索管理员可以使用爬网程序影响规则来管理爬网程序对正在对其进行爬网的服务器的影响。对于每个爬网程序影响规则，您可以指定单个 URL 或在 URL 路径中使用通配符来包括应用规则的一组 URL。然后，您可以指定向指定 URL 发出的并发页面请求数，或决定每次只请求一个文档并在两次请求之间等待您所选择的秒数。

爬网程序影响规则指定爬网程序从特定开始地址或一组开始地址（又称为网站名称）请求内容的频率。爬网程序影响规则应用于 Search Service 应用程序中的所有内容源，而请求频率按每个爬网组件应用。下表显示了在添加或编辑爬网程序影响规则时可在网站名称中使用的通配符。

您可以创建应用于特定顶级域中的所有网站的爬网程序影响规则。例如，*.com 应用于地址以 .com 结尾的所有 Internet 网站。例如，门户网站的管理员可能为 samples.microsoft.com 添加内容源。*.com 规则应用于此网站，除非您为 samples.microsoft.com 专门添加了爬网程序影响规则。

您可以与对组织中内容进行爬网的搜索系统的管理员进行协调，以便根据服务器的性能和容量设置爬网程序影响规则。对于大多数外部网站，此协调不可能实现。请求外部服务器上的过多内容或过于频繁地发出请求会导致这些网站的管理员在爬网过程使用过多资源时限制访问。在初始部署期间，应将爬网程序影响规则设置为尽可能不影响其他服务器，同时仍足够频繁地对足够的内容进行爬网以确保索引的新鲜度符合服务级别协议。在服务器场投入生产后，您可以根据爬网日志中的数据调整爬网程序影响规则。

规划爬网规则

爬网规则应用于 Search Service 应用程序中的所有内容源。您可以将爬网规则应用于特定 URL 或一组 URL 以执行以下操作：

• 通过排除一个或多个 URL 来避免对不相关内容进行爬网。这还有助于减少对服务器资源和网络流量的使用并提高搜索结果的相关性。

• 对 URL 上的链接进行爬网而不对 URL 本身进行爬网。当包含链接的网页不包含相关信息时，此选项对具有相关内容链接的网站很有用。

• 允许对复杂 URL 进行爬网。此选项指示系统对包含使用问号指定的查询参数的 URL 进行爬网。这些 URL 可能不包括相关内容，具体取决于相关网站。因为复杂 URL 通常会重定向到不相关网站，最好仅在您知道其复杂 URL 中提供的内容是相关的网站上启用此选项。

• 允许将 SharePoint 网站上的内容作为 HTTP 页面进行爬网。此选项允许系统对防火墙之后的 SharePoint 网站进行爬网，或在要对其进行爬网的网站限制对爬网程序所用 Web 服务的访问的情况下，允许系统对 SharePoint 网站进行爬网。

• 指定是使用默认内容访问帐户、其他内容访问帐户还是使用客户端证书来对指定 URL 进行爬网。

因为对内容进行爬网会占用资源和带宽，所以包括少量您知道是相关的内容优于包括大量可能不相关的内容。在初始部署后，您可以查看查询和爬网日志并将内容源和爬网规则调整为更相关和包括更多内容。

规划在服务器场级别管理的搜索设置

在服务器场级别管理的多个设置会影响对内容进行爬网的方式。在规划爬网时，应考虑以下服务器场级别的搜索设置：

• **联系人电子邮件地址：**对内容进行爬网会影响正在对其进行爬网的服务器的资源。您必须在配置设置中提供管理员可以在爬网对其服务器产生负面影响时进行联系的您的组织中人员的电子邮件地址，然后才能对内容进行爬网。此电子邮件地址显示在正在对其进行爬网的服务器的管理员日志中，以便这些管理员可以在爬网对性能和带宽的影响过大或出现其他问题时联系相应人员。

  联系人电子邮件地址应属于具有必要技能并能够快速响应请求的人员。您也可以使用密切监视的通讯组列表别名作为联系人电子邮件地址。无论正在对其进行爬网的内容是否存储在组织内部，快速响应都十分重要。

• **代理服务器设置：**在对内容进行爬网时，您可以选择是否使用代理服务器。要使用的代理服务器取决于您的 SharePoint Server 2010 部署的拓扑和组织中其他服务器的体系结构。在对 Internet 内容进行爬网时，您很可能必须使用代理服务器。有关如何为搜索配置代理服务器设置的详细信息，请参阅配置场级别的代理服务器设置 (SharePoint Server 2010) 和为搜索配置代理服务器设置 (SharePoint Server 2010)。

• **超时设置：**超时设置用于限制搜索系统等待连接到其他服务的时间。

• **SSL 设置：**安全套接字层 (SSL) 设置确定 SSL 证书是否必须完全匹配才能对内容进行爬网。

规划联合

联合搜索是并发查询多个 Web 资源或数据库以为最终用户生成单个搜索结果页。在您添加了联合位置后，最终用户可以搜索和检索本地系统中服务器尚未对其进行爬网的内容。联合位置允许将查询发送到远程搜索引擎和源。因此，系统将结果呈现给最终用户时就好像联合内容是已爬网内容的一部分一样。

SharePoint Server 2010 支持以下类型的联合位置：

• **该服务器上的搜索索引。**您可以使用组织中具有运行 SharePoint Server 2010 的服务器的任何本地或远程网站作为联合位置。例如，设想公司中人力资源服务器上的 SharePoint 网站是员工联系信息的唯一可用源。即使该网站不是爬网范围的一部分，您也可以为其配置联合位置，以便从搜索中心网站启动搜索的用户可以检索其有权查看的员工联系信息结果。以下情况适用：

  1. 位置设置为“该服务器上的搜索索引”。

  2. 无需任何查询模板。SharePoint Server 2010 使用对象模型来查询位置。

  3. 使用默认服务器身份验证。

  4. 不支持高级搜索查询。

• **OpenSearch 1.0 或 1.1。**您可以使用支持 OpenSearch 标准的任何公用网站作为联合位置。此类位置的示例是 Internet 搜索引擎（如 Bing）或支持 RSS 或 Atom 协议的搜索结果页。例如，设想您希望搜索内部网站以进行专有技术研究的用户也查看公用网站中的相关研究信息。通过为 Bing 搜索查询配置联合位置，将自动为用户包括 Web 搜索结果。以下情况适用：

  1. 可将查询作为 URL 发送给搜索引擎，例如 http://www.example.com/search.aspx?q=TEST。

  2. 以 RSS、Atom 或其他结构化 XML 格式返回搜索结果。

  3. 位置功能、查询模板和响应元素是与位置相关的 OpenSearch 说明 (.osdx) 文件的一部分。

  4. 特定于 SharePoint Server 2010 的 OpenSearch 扩展支持包括触发器的功能和将 XSL 代码与搜索结果相关联的功能。

  5. 是否选择在搜索结果中显示元数据由 OpenSearch 位置决定。

  有关 OpenSearch 的详细信息，请访问 https://www.opensearch.org/home（该链接可能指向英文页面）。

在将搜索查询发送到联合位置时，会将其作为 URL 参数并以查询模板的格式进行发送。然后，系统将结果设置为 XML 格式并呈现给搜索中心网站的用户。XML 在搜索结果页上的 Web 部件中显示为可读文本。您可以在搜索结果页上添加 Web 部件并将其配置为联合搜索结果 Web 部件、顶部联合结果 Web 部件或核心结果 Web 部件。默认情况下，搜索结果页包含三个联合搜索结果 Web 部件。

在您确定是否要向用户显示联合搜索结果时，请考虑以下问题：

1. **是否要显示特定搜索的自定义结果？**为帮助确保联合位置返回与特定查询相匹配的结果，您可以使用触发规则。在为联合位置创建触发规则时，与该位置相关的 Web 部件仅显示与您指定的模式或前缀匹配的用户查询的结果。

2. **能否使用 URL 指定要检索的查询结果？**若要创建联合位置，您必须指定查询模板，这是发送搜索查询并以 XML 形式返回结果所需的 URL 和参数的组合。在将此信息添加到“添加联合位置”页上的“查询模板”字段中时，您必须正确设置字符串格式（如“添加联合位置”页上的示例所示），否则搜索结果提供程序不会返回任何结果。

3. **用户能否访问联合位置提供的链接？**如果组织只授予了对 Internet 资源有限的访问权限，则使用 Internet 搜索引擎作为联合位置可能会使用户受挫，因为他们将无法查看一些搜索结果。

4. **是否需要身份验证？**如果联合位置需要身份验证，则您必须提供正确的凭据。许多联合位置（如 Internet 搜索引擎）不需要凭据。

为联合规划身份验证类型

多种用户身份验证、每用户和通用凭据可用于联合搜索。但是，要认识到对于每用户身份验证中的非 Kerberos 身份验证类型，收集凭据需要 Web 部件扩展。在位置定义的身份验证和凭据信息部分，应为联合位置指定身份验证类型。身份验证类型可以是以下项之一：

• 匿名

  连接到联合位置时无需任何凭据。

• 通用

  每个连接使用相同一组凭据连接到联合位置。

• 每用户

  使用提交搜索查询的用户的凭据连接到联合位置。

对于通用和每用户身份验证类型，您还必须指定以下身份验证协议之一：

• 基本

  基本身份验证是 HTTP 规范的一部分，大多数浏览器都支持它。

  Security Note
  使用基本身份验证的 Web 浏览器传输未加密的密码。通过监视网络上的通信，恶意用户可以使用公开提供的工具来截取这些密码并对其进行解码。因此，建议不要使用基本身份验证，除非您确信连接是安全的，例如使用专线或安全套接字层 (SSL) 连接。

• 摘要式

  摘要式身份验证依赖万维网联合会 (W3C) 网站上的 RFC 2617 规范中定义的 HTTP 1.1 协议。因为摘要式身份验证需要符合 HTTP 1.1，所以一些浏览器不支持它。启用了摘要式身份验证后，如果不符合 HTTP 1.1 的浏览器请求文件，则该请求会遭到拒绝，因为客户端不支持摘要式身份验证。摘要式身份验证只能在 Windows 域中使用。摘要式身份验证只能用于 Windows Server 2008、Windows Server 2003 和 Microsoft Windows 2000 Server 域帐户，并可能要求帐户将密码存储为加密纯文本。

• NTLM

  用户记录存储在安全帐户管理器 (SAM) 数据库或 Active Directory 数据库中。每个用户帐户与两个密码相关：与 LAN Manager 兼容的密码和 Windows 密码。每个密码经加密后存储在 SAM 数据库或 Active Directory 数据库中。

• Kerberos（仅限每用户身份验证类型）

  通过使用 Kerberos 协议，网络连接两端的任一方都可以验证另一方是否是所声明的实体。虽然 NTLM 允许服务器验证其客户端的标识，但 NTLM 不允许客户端验证服务器的标识，并且 NTLM 也不允许一台服务器验证另一台服务器的标识。NTLM 身份验证是为假定服务器受信任的网络环境设计的。

• 基于表单

  基于表单的身份验证 Cookie 只是验证票证的容器。每个请求将票证作为 Cookie 的值进行传递并在服务器上使用票证来识别已验证用户。但是，无 Cookie 的基于表单的身份验证在 URL 中传递加密格式的票证。使用无 Cookie 的基于表单的身份验证的原因是客户端浏览器可能阻止 Cookie。Microsoft .NET Framework 2.0 中引入了此功能。

如果在环境中使用基于声明的身份验证，请确保在要对其进行爬网的任何内容源上还启用了 Windows 身份验证。有关 SharePoint Server 2010 中身份验证方法的详细信息，请参阅规划身份验证方法 (SharePoint Server 2010)。

See Also

Concepts

收集有关当前搜索环境的信息 (SharePoint Server 2010)
确定企业级搜索团队和利益干系人 (SharePoint Server 2010)