Déterminer des planifications d’analyse

S’applique à : FAST Search Server 2010

Dernière rubrique modifiée : 2010-01-22

La variable clé qui détermine la charge sur le robot, le réseau et les serveurs Web distants est le taux de demandes. Cette valeur est déterminée par le paramètre delay, qui indique la durée pendant laquelle le robot d’indexation doit patienter, après avoir extrait un élément Web, avant de demander l’élément suivant.

Pour chaque site Web qui est analysé en même temps, le taux de requêtes d'élément Web global sera fonction de la delay et de paramètres max_pending, ainsi que le temps de réponse du serveur Web lui-même. Taux de transfert global du robot d'indexation Web dépend analysez le nombre de sites Web simultanément. La vitesse maximale théorique est définie en divisant la valeur des paramètres avec le paramètre delaymax_sites. Toutefois, la vitesse réelle sera généralement le nombre de simultanément l'analyse de sites Web divisé par le paramètre delay.

Utiliser le taux de requêtes par défaut de 60 secondes (ou plus) lors de l'analyse des sites Web qui ne sont pas possédés par l'organisation de l'analyse en cours d'exécution. Ce taux évite de placer une charge élevée sur le serveur Web à partir de laquelle les éléments Web sont demandés. Pour des analyses Web au sein de la même organisation ou d'un réseau, les valeurs inférieures peuvent être utilisés bien que la note que les valeurs (par exemple, moins de 5 secondes) à l'aide de très faible peut être stressante que sur les systèmes concernés.

L'intervalle d'actualisation, configuré par le paramètre refresh, détermine la longueur totale du cycle d'analyse. Le cycle d'analyse est la période de temps pendant lequel une analyse doit s'exécuter sans nouvelle visite un site Web pour voir si les éléments de Web nouveaux ou modifiés existants. Choisir un intervalle approprié varie selon la quantité de contenu à extraire (qui à son tour dépend à la fois sur le nombre de sites Web et contiennent des éléments Web combien chaque) et la mise à jour taux ou la fraîcheur des sites Web. Dans certains cas, il n'y a de nombreux sites Web avec un contenu très statique/stable et quelques qui sont fréquemment mis à jour ; il peuvent être configurés en tant que collections distinct analyse ou compte tenu des paramètres distincts à l'aide d'une collection de sub.

Le comportement du robot d'indexation Web à la fin du cycle d'analyse dépend de refresh_mode et des paramètres refresh_when_idle, ainsi qu'et le niveau d'activité en cours. Si l'intervalle d'actualisation est suffisamment grande pour permettre à tous les sites Web à analyser complètement et le paramètre refresh_when_idle est désactivé, le robot d'indexation restera inactif jusqu'à la fin de l'intervalle d'actualisation. Si le paramètre est activé, un nouveau cycle d'analyse démarre immédiatement. Un nouveau cycle d'analyse est démarré en ajoutant au début des URL dans la file de travail d'analyse.