Verwalten von Crawlerauswirkungen (Office SharePoint Server 2007)
Das Crawlen von Inhalten kann die betroffenen Server massiv belasten und dadurch die Antwortzeiten für Serverbenutzer beeinträchtigen. Aus diesem Grund wird die Verwendung von Crawlerauswirkungsregeln empfohlen, um anzugeben, wie aggressiv das Verhalten des Crawlers sein sollte. Ein Suchdienstadministrator kann die Auswirkungen des Crawlers auf eine gecrawlte Website mithilfe einer Crawlerauswirkungsregel im Hinblick auf einen der folgenden Aspekte verwalten:
Die maximale Anzahl von Dokumenten, die vom Crawler jeweils von der angegebenen Website angefordert werden können
Die Häufigkeit, mit der der Crawler ein bestimmtes Dokument von der angegebenen Website anfordern kann
Für das Crawlen von internen Inhalten innerhalb der Organisation können Sie die Regeln für Crawlerauswirkungen basierend auf der Leistung und der Kapazität der gecrawlten Server festlegen. Dabei können Sie z. B. versuchen, interne Server nicht während der Spitzenzeiten zu crawlen. Für das Crawlen von externen Websites ist hingegen eine derartige Abstimmung in der Regel nicht möglich. Daher wird empfohlen, bei der Konfiguration von Crawlanforderungen darauf zu achten, dass der Verbrauch von externen Websiteressourcen und Bandbreite so niedrig gehalten wird, dass externe Websiteadministratoren den Zugriff in Zukunft nicht einschränken werden.
Legen Sie bei der ersten Bereitstellung die Regeln für Crawlerauswirkungen so fest, dass die Auswirkungen auf gecrawlte Server minimal sind, die Crawls aber dennoch häufig genug erfolgen, um relativ neue Ergebnisse sicherzustellen. Sie können die Regeln für Crawlerauswirkungen später, während der Betriebsphase, basierend auf Ihren Erfahrungen und den Daten in den Crawlprotokollen anpassen.
Zum Verwalten einer Regel für Crawlerauswirkungen können Sie die folgenden Verfahren ausführen: