Web クローラー XML 構成リファレンス

適用先: FAST Search Server 2010

トピックの最終更新日: 2016-11-29

FAST Search Web クローラーは、Web サイトから情報を自動的に取得し、その情報を Microsoft FAST Search Server 2010 for SharePoint インデックスに渡します。FAST Search Web クローラーを構成する場合は、この記事で説明する書式で XML 構成ファイルを作成し、crawleradmin.exe コマンドライン ツールを使用してそのファイルを Web クローラーに送信する必要があります。

この記事で指定する書式は、crawlercollectiondefaults.xml ファイルでも使用されます。このファイルは、新しいクロール コレクションに設定されるすべての既定のオプションと値を格納します。このファイルを変更すると、すべての新しいコレクションの既定値が変更されます。既定値は、特定のクロール コレクション用に作成した XML 構成で指定されないオプションに適用されます。

これらの構成ファイルは、XML スキーマに準拠した書式で記述する必要があります。この記事では、構成ファイルの簡易な例と一般的な例を示します。構成ファイルの要素とセクションの概要については、「Web クローラー XML 構成クイック リファレンス」の表を参照してください。

主な用語

"Web サイト" は、SharePoint サイトではなく、www.contoso.com などの Web サイトにあるコンテンツを指します。

"ホスト名" は、http://contoso/ の "contoso" 部分または http://download.contoso.com/ の "download.contoso.com" 部分を指します。完全修飾名でなくてもかまいません。この記事では、"Web サイト" を実際のサイトとコンテンツを指す言葉として使用し、"ホスト名" を特定の Web サーバーに到達するために使用されるネットワーク名として使用することで、両者を使い分けます。1 つのサイトに複数のホスト名がある場合があります。

新しいクロール構成の作成

この XML 構成書式を使用して新しいクロール構成を作成するには、次の手順を実行します。

1. 事前に用意されている 3 種類のクロール構成テンプレートの 1 つを <FASTSearchFolder>\etc (<FASTSearchFolder> は FAST Search Server 2010 for SharePoint をインストールした C:\FASTSearch などのフォルダーのパス) から新しいファイル (MyCollection.xml など) にコピーし、新しいファイルを作成します。このファイルをテキスト エディターで編集して、必要な要素と設定を追加します。

   注意

   テキスト エディター (メモ帳など) を使用して、crawlercollectiondefaults.xml を変更します。このとき、汎用の XML エディターは使用しないでください。

2. crawleradmin.exe –f MyCollection.xml を実行してクロール構成をクローラーに追加します。このコマンドの MyCollection.xml の部分は、手順 1. で作成したファイルの名前で置き換えます。

詳細については、「crawleradmin.exe リファレンス」を参照してください。

crawlercollectiondefaults.xml のカスタマイズ

このファイルを編集するには

1. テキスト エディターを使用して crawlercollectiondefaults.xml を編集し、必要な要素と設定を追加します。既存のファイルが <FASTSearchFolder>\etc\ 内に用意されているので、これを編集の土台にすることができます。

   注意

   テキスト エディター (メモ帳など) を使用して、crawlercollectiondefaults.xml を変更します。このとき、汎用の XML エディターは使用しないでください。

2. nctrl.exe restart crawler を実行して、手順 1. で設定したオプションで FAST Search Web クローラーを再起動します。

Web クローラー XML 構成クイック リファレンス

以下の表に、Web クローラー XML 構成書式の要素の一覧を示します。要素は任意の順序で記述できますが、次の例外があります。DomainSpecification 要素は、CrawlerConfig 要素の内部に記述します。プライマリ要素の SubDomain、Login、および Node は DomainSpecification 要素の内部に記述します。section サブ要素と attrib サブ要素は、プライマリ要素の内部に任意の順序で記述できます。member サブ要素は、attrib 要素の内部のみに記述できます。

<CrawlerConfig>
      <DomainSpecification>
             <SubDomain/>
             <Login/>
             <Node/>
             <attrib>
                    <member/> 
             </attrib>
             <section/>
      </DomainSpecifcation>
</CrawlerConfig>

通常は、attrib サブ要素と section サブ要素の両方を SubDomain、Login、および section 要素に記述します。Node 要素には、これらのすべての要素とサブ要素を含めることができます。

この表では、section オプションを Web クローラー XML 構成ファイルの書式で定義します。セクションを CrawlerConfig 要素の内部に含めることはできません。

Web クローラー XML 構成ファイルのファイル形式

構成ファイルに記述する XML 要素は、< で始まり、/> で終わります。

要素の基本的な書式を以下に示します。

<attrib name="値" type="値"> 値**</attrib>**

次に例を示します。

<attrib name="accept_compression" type="boolean"> yes </attrib>

要素名、セクション名、属性名、および属性値では、大文字と小文字が区別されます。属性の名前と種類は、引用符 (" ") で囲む必要があります。要素は、複数の行にわたって定義できます。スペース、復帰、改行、およびタブの文字は、要素の定義に含まれていても無視されます。

次に例を示します。

<attrib
    name=" accept_compression "
    type="boolean"
> yes </attrib
>

<CrawlerConfig> 要素は特殊なケースであり、必ず指定する必要があります。他のすべての要素は <CrawlerConfig> 要素内に記述します。この要素は </CrawlerConfig>. で閉じられます。

XML ファイルの基本構造を次の例に示します。

<?xml version="1.0"?>
<CrawlerConfig>
    <DomainSpecification>
        ...
    </DomainSpecification>
</CrawlerConfig>

コメントは、<!-- と --> で囲んで任意の場所に追加できます。

CrawlerConfig

このトップレベルの要素は、この後に記述する XML が Web クローラー構成オブジェクトであることを示します。Web クローラー構成ファイルは、CrawlerConfig XML 要素を 1 つのみ格納できます。

DomainSpecification

この要素は、クロール コレクションを指定します。

例

<CrawlerConfig>
  <DomainSpecification name="sp">
  ...
  </DomainSpecification>
</CrawlerConfig>

"sp" は、実際のクロール コレクション名で置き換えてください。

attrib

この要素は、構成オプションを指定します。単一の値を指定するか、member 要素を使用して複数の値を指定できます。

属性

<META HTTP-EQUIV="Refresh" CONTENT="3;URL=http://www.some.org/some.html">

<meta name="robots" content="nofollow,noindex"/>

<meta http-equiv="robots" content="nofollow,noindex"/>

例

<attrib name="delay" type="real"> 60.0 </attrib>

<attrib name="max_doc" type="integer"> 10000 </attrib>

<attrib name="use_javascript" type="boolean"> no </attrib>

<attrib name="info" type="string">
My Web crawl collection crawling my intranet.
</attrib>

<attrib name="allowed_schemes" type="list-string">
    <member> http </member>
    <member> https </member>
</attrib>

member

これは、オプション値の一覧に含まれる 1 つの要素を指定します。

member 要素は、attrib 要素内でのみ使用できます。

例

<attrib name="allowed_schemes" type="list-string">
    <member> http </member>
    <member> https </member>
</attrib>

section

この要素は、関連する複数のオプションをグループにまとめます。section 要素には、attrib 要素が含まれます。

属性

例

<section name="crawlmode">
    <attrib name="fwdlinks" type="boolean"> no </attrib>
    <attrib name="fwdredirects" type="boolean"> no </attrib>
    <attrib name="mode" type="string"> FULL </attrib>
    <attrib name="reset_level" type="boolean"> no </attrib>
</section>

include_domains

このセクションは、クロール コレクションに含める URI を指定する一連のホスト名フィルターを定義します。セクションを空にすると、すべてのホスト名に指定したことになります。

属性

以下の表に、このセクションの attrib 要素を示します。

例

<section name="include_domains">
   <attrib name="exact" type="list-string">
      <member> www.contoso.com </member>
      <member> www2.contoso.com </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> www </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> .contoso.com</member>
      <member> .contoso2.com</member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> .*\.contoso\.com </member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myinclude_domains.txt </member>
   </attrib>
</section>

exclude_domains

このセクションは、クロール コレクションから除外する URI を指定する一連のホスト名フィルターを指定します。このセクションが空白の場合、一致するホスト名はありません。

属性

このセクションの attrib 要素については、「include_domains」の表を参照してください。

例

<section name="exclude_domains">
   <attrib name="exact" type="list-string">
      <member> www.contoso.com </member>
      <member> www2.contoso.com </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> www </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> .contoso.com</member>
      <member> .contoso2.com</member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> .*\.contoso\.com </member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myexclude_domains.txt </member>
   </attrib>
</section>

include_uris

このセクションは、クロール コレクションに含める URI を指定する一連のホスト名フィルターを指定します。このセクションが空白の場合、すべてのホスト名に一致します。

属性

以下の表に、このセクションの attrib 要素を示します。

例

<section name="include_uris">
   <attrib name="exact" type="list-string">
      <member> https://www.contoso.com/documents/doc2.html </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> https://www.contoso.com/documents/ </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> /doc2.html </member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> http://.*\.contoso\.com/documents.*</member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myinclude_uris.txt </member>
   </attrib>
</section>

exclude_uris

このセクションは、クロール コレクションから除外する URI を指定する一連の URI ベース規則を指定します。このセクションが空白の場合、一致する URI はありません。

属性

このセクションの attrib 要素については、「include_uris」の表を参照してください。

例

<section name="exclude_uris">
   <attrib name="exact" type="list-string">
      <member> https://www.contoso.com/documents/doc2.html </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> https://www.contoso.com/documents/ </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> /doc2.html </member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> http://.*\.contoso\.com/documents.*</member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myexclude_uris.txt </member>
   </attrib>
</section>

log

このセクションは、Web クローラーのログ動作を指定します。

属性

以下の表に、このセクションの attrib 要素を示します。

例

<section name="log">
   <attrib name="dsfeed" type="string"> text </attrib>
   <attrib name="fetch" type="string"> text </attrib>
   <attrib name="postprocess" type="string"> text </attrib>
   <attrib name="screened" type="string"> none </attrib>
   <attrib name="site" type="string"> text </attrib>
</section>

storage

このセクションは、Web クローラーがデータとメタデータを保存する方法を指定します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="storage">
   <attrib name="store_dupes" type="boolean"> no </attrib>
   <attrib name="datastore" type="string"> bstore </attrib>
   <attrib name="compress" type="boolean"> yes </attrib>
</section>

pp

このセクションは、ノード スケジューラの後処理動作を指定します。後処理では、Web アイテムをインデックスにフィードするタスクと、重複データを検出するタスクが主に実行されます。

属性

以下の表に、このセクションの attrib 要素を示します。

例

<section name="pp">
   <attrib name="max_dupes" type="integer"> 10 </attrib>
   <attrib name="use_dupservers" type="boolean"> yes </attrib>
   <attrib name="ds_paused" type="boolean"> no </attrib>
</section>

ppdup

このセクションは、重複サーバー設定を指定します。

属性

以下の表に、このセクションの attrib 要素を示します。

例

<section name="ppdup">
   <attrib name="format" type="string"> hashlog </attrib>
   <attrib name="stripes" type="integer"> 1 </attrib>
      <!-- 1 GB memory hash -->
   <attrib name="cachesize" type="integer"> 1024 </attrib>
   <attrib name="compact" type="boolean"> yes </attrib>
</section>

feeding

feeding セクションは、クロール コレクションを表す情報をインデックス付けエンジンに送信する方法を指定する最低 1 つの section XML 要素から構成されます。このようなセクションは、コンテンツの送信先を定義します。name 属性は、コンテンツの送信先を表す一意の名前です。

属性

以下の表に、コンテンツの送信先セクションの attrib 要素を示します。

例

<section name="feeding">
    <section name="Global_News">
        <attrib name="collection" type="string"> collection_A </attrib>
        <attrib name="destination" type="string"> default </attrib>
        <attrib name="primary" type="boolean"> yes </attrib>
        <attrib name="paused" type="boolean"> no </attrib>
    </section>
    <section name="Local_News">
        <attrib name="collection" type="string"> collection_B </attrib>
        <attrib name="destination" type="string"> default </attrib>
        <attrib name="primary" type="boolean"> no </attrib>
        <attrib name="paused" type="boolean"> no </attrib>
     </section>
</section>

cachesize

このセクションは、Web クローラー プロセスのキャッシュ サイズを構成します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="cachesize">
      <!-- Specific cache size values (in number of items) for the following: -->
      <attrib name="duplicates" type="integer"> 128 </attrib>
      <attrib name="screened" type="integer"> 128 </attrib>
      <attrib name="smcomm" type="integer"> 128 </attrib>
      <attrib name="mucomm" type="integer"> 128 </attrib>
      <attrib name="wqcache" type="integer"> 4096 </attrib>
      <!-- Automatic cache size for crosslinks -->
      <attrib name="crosslinks" type="integer"> </attrib>
      <!-- Cache sizes in bytes for the following -->
      <attrib name="routetab" type="integer"> 1048576 </attrib>
      <attrib name="pp" type="integer"> 1048576 </attrib>
      <attrib name="pp_pending" type="integer"> 1048576 </attrib>
      <attrib name="aliases" type="integer"> 1048576 </attrib>
   </section>

http_errors

このセクションは、HTTP/HTTPS のエラー応答コードと条件を処理する方法を指定します。

属性

次の表に、このセクションの attrib 要素を示します。name 属性には複数の値があるため、それぞれについて用途を説明しています。

http_errors セクションの既定値

次の表に、http_errors セクションの既定値を示します。

例

<section name="http_errors">
    <attrib name="408" type="string"> KEEP </attrib>
    <attrib name="4xx" type="string"> DELETE </attrib>
    <attrib name="5xx" type="string"> DELETE:10, RETRY:3 </attrib>
    <attrib name="ttl" type="string"> DELETE:3 </attrib>
    <attrib name="net" type="string"> DELETE:3 </attrib>
    <attrib name="int" type="string"> KEEP </attrib>
</section>

ftp_errors

このセクションは、FTP URI の応答コードとエラー条件を処理する方法を指定します。

属性

このセクションの attrib 要素については、「http_errors」の表を参照してください。

ftp_errors セクションの既定値

次の表に、ftp_errors セクションの既定値を示します。

例

<section name="ftp_errors">
    <attrib name="4xx" type="string"> DELETE:3 </attrib>
    <attrib name="550" type="string"> DELETE:0 </attrib>
    <attrib name="5xx" type="string"> DELETE:3 </attrib>
    <attrib name="int" type="string"> KEEP:0 </attrib>
    <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
    <attrib name="ttl" type="string"> DELETE:3 </attrib>
</section>

workqueue_priority

このセクションは、クロール キューの優先度レベルを指定し、キューへの URI の挿入とキューからの URI の取り出しに適用される規則とモードを指定します。

属性

次の表に、このセクションの attrib 要素を指定します。

優先度レベル セクション

workqueue_priority セクションでは、クロール キューの優先度レベルとウェイトを指定する一連のセクションを指定できます。これらのセクションは、pop_scheme パラメーターを wrr または pri に設定した場合にのみ使用できます。これらのセクションの name 属性は、指定する優先度レベルである必要があります。優先度レベルは 1 で始まる必要があります (以下の例の <section name="1"> を参照)。

include_domains セクションまたは include_uris セクションは、「include_domains」 および「 include_uris」 で説明したように、各優先度レベル セクションで使用できます。これらの規則に一致する URI は、一致する優先度レベルでキューに設定されます。次の表に、これらのセクションの attrib 要素を指定します。

例

<section name="workqueue_priority">
    <attrib name="levels" type="integer"> 2 </attrib>
    <attrib name="default" type="integer"> 2 </attrib>
    <attrib name="start_uri_pri" type="integer"> 1 </attrib>
    <attrib name="pop_scheme" type="string"> wrr </attrib>
    <attrib name="put_scheme" type="string"> include </attrib>
    <section name="1">
        <attrib name="share" type="integer"> 10 </attrib>
        <section name="include_domains">
            <attrib name="suffix" type="list-string">
                <member> web005.contoso.com  </member>
            </attrib>
        </section>
    </section>
    <section name="2">
        <attrib name="share" type="integer"> 5 </attrib>
        <section name="include_domains">
           <attrib name="suffix" type="list-string">
              <member> web002.contoso.com  </member>
           </attrib>
        </section>
    </section>
</section>

link_extraction

このセクションは、追跡するハイパーリンクの種類を指定します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="link_extraction">
   <attrib name="action" type="boolean"> yes </attrib>
   <attrib name="img" type="boolean"> no </attrib>
   <attrib name="link" type="boolean"> yes </attrib>
   <attrib name="meta" type="boolean"> yes </attrib>
   <attrib name="meta_refresh" type="boolean"> yes </attrib>
   <attrib name="object" type="boolean"> yes </attrib>
   <attrib name="script_java" type="boolean"> yes </attrib>
</section>

limits

limits セクションは、クロール コレクションのフェールセーフ制限を指定します。コレクションがこの制限を超えると、"更新のみ" のクロール モードに切り替わります。つまり、前回クロールされた URI のみが再度クロールされます。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="limits">
   <attrib name="disk_free" type="integer"> 0 </attrib>
   <attrib name="disk_free_slack" type="integer"> 3 </attrib>
   <attrib name="max_doc" type="integer"> 0 </attrib>
   <attrib name="max_doc_slack" type="integer"> 1000 </attrib>
</section>

focused

このセクションは、集中スケジュールを構成します。exclude_domains セクションを focused セクションと組み合わせて使用すると、この集中スケジュールからホスト名を除外できます。exclude_domains セクションを定義しないと、すべてのホスト名が集中スケジュールに含まれます。

属性

次の表に、このセクションの attrib 要素を示します。

例

以下の例では、Web クローラーはノルウェー語、英語、および言語不明のコンテンツについてすべてのアイテムを保存します。これらに該当しないすべての言語については、リンクを 2 レベルのみ追跡します。また、contoso.com にあるすべてのコンテンツは、言語チェックの対象外とし、自動的に保存します。

<section name="focused">
   <!-- Crawl Norwegian, English and content of unknown language -->
   <attrib name="languages" type="list-string">
      <member> norwegian </member>
      <member> unknown </member>
      <member> en </member>
   </attrib>
   <!--Follow hyperlinks containing other languages for 2 levels -->
   <attrib name="depth" type="integer"> 2 </attrib>
   <!-- Exclude anything under .contoso.com from language checks, -->   
   <section name="exclude_domains">
      <attrib name="suffix" type="list-string">
         <member> .contoso.com </member>
      </attrib>
   </section>
</section>

passwd

このセクションは、認証を要求する Web サイトに使用する資格情報を構成します。Web クローラーは、 基本認証、ダイジェスト認証、および NTLM 認証をサポートします。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="passwd">
    <attrib name="https://www.contoso.com/confidential1/" type="string">
      user:password:contoso:auto
    </attrib>
</section>

ftp_acct

このセクションは、FTP URI のクロールに使用する FTP アカウントを指定します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="ftp_acct">
   <attrib name="ftp.contoso.com" type="string"> user:pass </attrib>
</section>

exclude_headers

このセクションは、HTTP ヘッダー フィールドの内容に基づいて Web アイテムをクロールから除外するために使用します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="exclude_headers">
   <attrib name="Header Name" type="list-string">
      <member> .*excluded.*value </member>
   </attrib>
</section>

variable_delay

このセクションは、別の要求レートを使用する時間帯を指定します。時間帯を指定しない場合、クローラーは attrib に指定された delay 構成パラメーターを使用します。

属性

次の表に、このセクションの attrib 要素を示します。

例

以下の例は、Web クローラーが曜日によって異なる遅延時間を使用する方法を示しています。水曜日の午前 9 時から午後 7 時までは、20 秒の遅延を使用します。月曜日の午前 9 時から午後 5 時までは、クロールを中断します。他の曜日を含め、これ以外の時間帯については 60 秒の遅延を使用します。

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="variable_example">
      <section name="variable_delay">
         <attrib name="Wed:09-Wed:19" type="string">20 </attrib>
         <attrib name="Mon:09-Mon:17" type="string">suspend</attrib>
      </section>
   </DomainSpecification>
</CrawlerConfig>

adaptive

このセクションは、アダプティブ クロール オプションを指定します。このセクションが Web クローラーに適用されるには、attrib 内で refresh_mode 構成パラメーターが adaptive に設定されている必要があります。

アダプティブ クロールの動作は、weights セクションと sitemap_weights セクションを使用して調整できます。

属性

次の表に、このセクションの attrib 要素を示します。

例

        <section name="adaptive">
            <attrib name="refresh_count" type="integer"> 4 </attrib>
            <attrib name="refresh_quota" type="integer"> 98 </attrib>
            <attrib name="coverage_max_pct" type="integer"> 25 </attrib>
            <attrib name="coverage_min" type="integer"> 10 </attrib>

            <!-- Ranking weights. Each scoring criteria adds a score between -->
            <!-- 0.0 and 1.0 which is then multiplied with the associated    -->
            <!-- weight below. Use a weight of 0 to disable a scorer         --> 
        
           <section name="weights">
                <attrib name="inverse_length" type="real"> 1.0 </attrib>
                <attrib name="inverse_depth" type="real"> 1.0 </attrib>
                <attrib name="is_landing_page" type="real"> 1.0 </attrib>
                <attrib name="is_mime_markup" type="real"> 1.0 </attrib>
                <attrib name="change_history" type="real"> 10.0 </attrib>
            </section>
        </section>

weights

このセクションでは、アダプティブ クロール プロセスに適用されるスコアを各 URI に与えます。このスコアは、URI に優先順位を与える役割を持ち、一連の規則に基づいて決定されます。各規則によってウェイトが与えられ、このウェイトが weights セクションで指定される合計スコアの一部となります。

属性

次の表に、このセクションの attrib 要素を指定します。

例

<!-- Ranking weights. Each scoring criteria adds a score between -->
            <!-- 0.0 and 1.0 which is then multiplied with the associated    -->
            <!-- weight below. Use a weight of 0 to disable a scorer         -->
            <section name="weights">
                <!-- Score based on the number of /'es (segments) in the -->
                <!-- URI. Max score with one, no score with 10 or more   -->
                <attrib name="inverse_length" type="real"> 1.0 </attrib>

                <!-- Score based on the number of link "levels" down to -->
                <!-- this URI. Max score with none, no score with >= 10 -->
                <attrib name="inverse_depth" type="real"> 1.0 </attrib>

                <!-- Score added if URI is determined as a "landing page", -->
                <!-- defined as e.g. ending in "/" or "index.html". URIs   -->
                <!-- with query parameters are not given score             -->
                <attrib name="is_landing_page" type="real"> 1.0 </attrib>

                <!-- Score added if URI points to a markup document as    -->
                <!-- defined by the "uri_search_mime" option. Assumption  -->
                <!-- being that such content changes more often than e.g. -->
                <!-- "static" Word or PDF documents.                      -->
                <attrib name="is_mime_markup" type="real"> 1.0 </attrib>

                <!-- Score based on change history tracked over time by   -->
                <!-- using an estimator based on last modified date given -->
                <!-- by the web server. If no modified date returned then -->
                <!-- one is estimated (based on whether the document has  -->
                <!-- changed or not).                                     -->
                <attrib name="change_history" type="real"> 10.0 </attrib>
            </section>
  

sitemap_weights

サイトマップ内の <URL> エントリには changefreq 要素が含まれている場合があります。この要素は、URI が更新される頻度を指定します。

この要素の有効な文字列は、always、hourly、daily、weekly、monthly、yearly、および never です。この文字列値は数値のウェイトに変換されてアダプティブ クロールに使用されます。sitemap_weights セクションは、文字列値から数値のウェイトへのマッピングを指定します。この数値のウェイトが、weights セクションでのサイトマップ スコアの計算に使用されます。

URI のアダプティブ クロール スコアは、この数値のウェイトと sitemap 構成パラメーターのウェイトを掛けて計算されます。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="sitemap_weights">
    <attrib name="always" type="real"> 1.0 </attrib>
    <attrib name="hourly" type="real"> 0.64 </attrib>
    <attrib name="daily" type="real"> 0.32 </attrib>
    <attrib name="weekly" type="real"> 0.16 </attrib>
    <attrib name="monthly" type="real"> 0.08 </attrib>
    <attrib name="yearly" type="real"> 0.04 </attrib>
    <attrib name="never" type="real"> 0.0 </attrib>
    <attrib name="default" type="real"> 0.16 </attrib>
</section>

site_clusters

このセクションは、クローラーがホスト名をノード スケジューラにルーティングする動作を変更する構成パラメーターを指定します。このパラメーターを使用すると、ホスト名のグループを同じノード スケジューラとサイト マネージャーにルーティングできます。この機能は、use_cookies 設定が有効になっているときに便利です。Cookie はサイト マネージャー プロセス全体にのみグローバルであるからです。また、特定の Web サイトが相互に緊密にリンクする場合、それらのホスト名をクラスター化することで内部通信を削減できます。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="site_clusters">
    <attrib name="mycluster" type="list-string">
        <member> host1.constoso.com </member>
        <member> host2.constoso.com </member>
        <member> host3.constoso.com </member>
    </attrib>
</section>

crawlmode

このセクションは、クロール コレクションの範囲を制限します。

属性

次の表に、このセクションの attrib 要素を示します。

例

        <section name="crawlmode">
            <attrib name="mode" type="string"> DEPTH:1 </attrib>
            <attrib name="fwdlinks" type="boolean"> yes </attrib>
            <attrib name="fwdredirects" type="boolean"> yes </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>

post_payload

このセクションは、HTTP POST 要求に対してコンテンツを送信するために使用します。コンテンツは、URI 全体が正確に一致するか URI プレフィックスに一致する URI に送信されます。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="post_payload">
    <attrib name="prefix:https://www.contoso.com/secure" type="string"> variable1=value1&amp;variableB=valueB </attrib>
</section>

rss

このセクションは、クロール コレクションでの RSS フィード サポートを初期化および構成します。

属性

次の表に、このセクションの attrib 要素を示します。

例

        <section name="rss">
            <!-- Attempt to discover new rss feeds, yes/no                  -->
            <attrib name="auto_discover" type="boolean"> yes </attrib>
            <attrib name="del_expired_links" type="boolean"> yes </attrib>
            <attrib name="follow_links" type="boolean"> yes </attrib>
            <attrib name="ignore_rules" type="boolean"> no </attrib>
            <attrib name="index_feed" type="boolean"> no </attrib>
            <attrib name="max_link_age" type="integer"> 0 </attrib>
            <attrib name="max_link_count" type="integer"> 128 </attrib>
            <attrib name="start_uris" type="list-string">
                <member> http://www.startsiden.no/rss.rss </member>
            </attrib>
            <!-- Start uri files (optional)                                 -->
            <attrib name="start_uri_files" type="list-string">
                <member> /usr/fast/etc/rss_seedlist.txt </member>
            </attrib>
        </section>

logins

このセクションは、HTML フォームベース認証に使用する最低 1 つの logins セクション要素を指定します。この要素は特定の Web サイトのログインに関連付けられ、その name 属性には一意のログイン名が含まれている必要があります。

属性

次の表に、このセクションの attrib 要素を示します。

備考

logins セクションの代わりに Login 要素を使用することもできます。

例

        <section name="logins">
            <section name="mytestlogin">
                <!-- Instructs the crawler to "preload" potential cookies by -->
                <!-- fetching this page and register any cookies before      -->
                <!-- proceeding with login                                   -->
                <attrib name="preload" type="string">http://preload.contoso.com/</attrib>
                <attrib name="scheme" type="string"> https </attrib>
                <attrib name="site" type="string"> login.contoso.com </attrib>
                <attrib name="form" type="string"> /path/to/some/form.cgi </attrib> 
                <attrib name="action" type="string">POST</attrib> 
                <section name="parameters"> 
                    <attrib name="user" type="string"> username </attrib>
                    <attrib name="password" type="string"> password </attrib>
                    <attrib name="target" type="string"> sometarget </attrib>
                </section> 
                <!-- Host names of sites requiring this login to crawl -->
                <attrib name="sites" type="list-string"> 
                    <member> site1.contoso.com </member> 
                    <member> site2.contoso.com </member> 
                </attrib> 
                <!-- Time to live for login cookie. Will re-log in when expires -->
                <attrib name="ttl" type="integer"> 7200 </attrib> 
            </section>
        </section>

parameters

このセクションは、HTML フォームに使用する認証用の資格情報を設定します。資格情報は、logins セクションまたは Login 要素で指定する必要があります。通常、資格情報のパラメーターは HTML フォームによって異なります。

autofill 構成パラメーターを有効にした場合、ブラウザー内に表示される変数のみを指定します。たとえば、ユーザー名やパスワード、またはそれらに相当するものです。この場合、Web クローラーは HTML ページを取得し、フォームを送信するために必要な "非表示" の変数を読み取る必要があります。この構成パラメーターで指定した変数の値は、フォームに保存された値に優先します。

属性

次の表に、このセクションの attrib 要素を示します。

例

<section name="parameters"> 
                <attrib name="user" type="string"> username </attrib>
                <attrib name="password" type="string"> password </attrib>
                <attrib name="target" type="string"> sometarget </attrib>
            </section> 

subdomains

このセクションは、クロール サブコレクションの構成を指定します。subdomains セクションには最低 1 つの section XML 要素を設定し、各要素が 1 つのクロール サブコレクションを指定します。クロール サブコレクション セクションは、name 属性で設定される一意の名前を含む必要があります。

備考

subdomains セクションの代わりに SubDomain 要素を使用することもできます。

クロール サブコレクションの範囲を制限するために包含/除外の規則を指定する必要があります。これらの規則は、include_domains、exclude_domains、include_uris、および exclude_uris です。

attrib で指定した構成パラメーターのサブセットのみがサブセクションで使用できます。これらの構成パラメーターは、次のとおりです。

-
accept_compression

-
allowed_schemes

-
crawlmode

-
cut_off

-
delay

-
ftp_passive

-
headers

-
max_doc

-
proxy

-
refresh

-
refresh_mode

-
start_uris

-
start_uri_files

-
use_http_1_1

-
use_javascript

-
use_sitemaps

クロール サブコレクションの refresh 構成パラメーターは、メイン クロール コレクションよりも低い更新レートに設定されている必要があります。use_javascript、use_sitemaps、および max_doc 構成パラメーターは、クロール サブコレクションを指定するために include_uris 設定または exclude_uris 設定が使用される場合は、使用できません。

また、クロール サブコレクションでは rss セクションおよび variable_delay セクションを使用できます。

例

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="subcollection_example">
      <section name="subdomains">
         <section name="subdomain_1">
            <section name="include_uris">
               <attrib name="prefix" type="list-string">
                  <member> https://www.contoso.com/index </member>
               </attrib>
            </section>
            <attrib name="refresh" type="real"> 60.0 </attrib>
            <attrib name="delay" type="real"> 10.0 </attrib>
            <attrib name="start_uris" type="list-string">
               <member> https://www.contoso.com/ </member>
            </attrib>
         </section>
      </section>
</DomainSpecification>
</CrawlerConfig>

SubDomain

この要素は、クロール サブコレクションの構成を指定します。クロール サブコレクションは、クロール コレクション メンバーを区別するために定義するオブジェクトです。クロール コレクションには、複数の SubDomain 要素を格納できます。

SubDomain 要素の構成パラメーターは、subdomains で指定します。

SubDomain 要素には、attrib 要素と section 要素が含まれます。

属性

例

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="subcollection_example">
      <SubDomain name="subdomain_1">
         <section name="include_uris">
            <attrib name="prefix" type="list-string">
               <member> https://www.contoso.com/index </member>
            </attrib>
         </section>
         <attrib name="refresh" type="real"> 60.0 </attrib>
         <attrib name="delay" type="real"> 10.0 </attrib>
         <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com/ </member>
         </attrib>
      </SubDomain>
   </DomainSpecification>
</CrawlerConfig>

Login

この要素は、HTML フォームベース認証に使用されます。Login 要素の構成パラメーターは、logins で指定します。クロール コレクションには複数の Login 要素を格納できます。Login 要素には、attrib 要素と section 要素を格納できます。

属性

例

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="login_example">
      <Login name="mytestlogin">
         <attrib name="preload" type="string">http://preload.contoso.com/
         </attrib>
         <attrib name="scheme" type="string"> https </attrib>
         <attrib name="site" type="string"> login.contoso.com  </attrib>
         <attrib name="form" type="string"> /path/to/some/form.cgi </attrib>
         <attrib name="action" type="string">POST</attrib>
         <section name="parameters">
            <attrib name="user" type="string"> username </attrib>
            <attrib name="password" type="string"> password </attrib>
         </section>
         <attrib name="sites" type="list-string">
            <member> site1.contoso.com  </member>
            <member> site2.contoso.com  </member>
         </attrib>
         <attrib name="ttl" type="integer"> 7200 </attrib>
         <attrib name="html_form" type="string">
            http://login.contoso.com/login.html 
         </attrib>
         <attrib name="autofill" type="boolean"> yes </attrib>
         <attrib name="relogin_if_failed" type="boolean"> yes </attrib>
      </Login>
   </DomainSpecification>
</CrawlerConfig>

Node

この要素は、クロール コレクションまたはクロール サブコレクションの構成パラメーターを特定のノード スケジューラについて上書きするために使用します。Node 要素の構成パラメーターは、SubDomain、Login、attrib、および section で指定します。

Node 要素には、attrib 要素と section 要素が格納されます。

属性

例

以下の例では、マルチノード展開を使用しています。ノード スケジューラの 1 つは、"crawler_node1" という名前です。ここでは "crawler_node1" に他のノードとは異なる遅延構成パラメーターを構成します。

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="node_example ">
      <attrib name="delay" type="real"> 60.0 </attrib>
      <Node name="crawler_node1">
         <attrib name="delay" type="real"> 90.0 </attrib>
      </Node>
   </DomainSpecification>
</CrawlerConfig>

XML スキーマ

Web クローラー構成ファイルは、以下の XML スキーマに従って書式が設定されている必要があります。

<?xml version="1.0" encoding="UTF-8" ?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">

  <xs:element name="CrawlerConfig" type="CT_CrawlerConfig"/>
  
  <xs:complexType name="CT_CrawlerConfig >
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="DomainSpecification" type="CT_DomainSpecification"/>
    </xs:choice>
  </xs:complexType>

  <xs:complexType name="CT_DomainSpecification">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib" maxOccurs="unbounded"/>
      <xs:element name="section" type="CT_section"/>
      <xs:element name="SubDomain" type="CT_SubDomain"/>
      <xs:element name="Login" type="CT_Login"/>
      <xs:element name="Node" type="CT_Node"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_attrib" mixed="true">
    <xs:sequence minOccurs="0" maxOccurs="unbounded">
      <xs:element name="member" type="ST_member"/>
    </xs:sequence>
    <xs:attribute name="name" type="xs:string" use="required"/>
    <xs:attribute name="type" type="ST_type" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_section">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
        <xs:element name="attrib" type="CT_attrib"/>
        <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_SubDomain">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_Login">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_Node">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>
  
  <xs:simpleType name="ST_type">
    <xs:restriction base="xs:string">
      <xs:enumeration value="boolean"/>
      <xs:enumeration value="string"/>
      <xs:enumeration value="integer"/>
      <xs:enumeration value="list-string"/>
      <xs:enumeration value="real"/>
    </xs:restriction>
  </xs:simpleType>

  <xs:simpleType name="ST_member">
    <xs:restriction base="xs:string"></xs:restriction>
  </xs:simpleType>
</xs:schema>

簡易な構成

次の例では、簡易な Web クローラー構成を設定します。ここでは、contoso.com Web サイトのみがクロールの対象となります。

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
    <DomainSpecification name="default_example">
        <section name="crawlmode">
            <attrib name="fwdlinks" type="boolean"> no </attrib>
            <attrib name="fwdredirects" type="boolean"> no </attrib>
            <attrib name="mode" type="string"> FULL </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>
        <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com </member>
        </attrib>
    </DomainSpecification>
</CrawlerConfig>

一般的な構成

次の例では、一般的な構成パラメーターを含むクローラー構成を設定します。

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
    <DomainSpecification name="default_example">
        <attrib name="accept_compression" type="boolean"> yes </attrib>
        <attrib name="allowed_schemes" type="list-string">
            <member> http </member>
            <member> https </member>
        </attrib>
        <attrib name="allowed_types" type="list-string">
            <member> text/html </member>
            <member> text/plain </member>
        </attrib>
        <section name="cachesize">
            <attrib name="aliases" type="integer"> 1048576 </attrib>
            <attrib name="pp" type="integer"> 1048576 </attrib>
            <attrib name="pp_pending" type="integer"> 131072 </attrib>
            <attrib name="routetab" type="integer"> 1048576 </attrib>
        </section>
        <attrib name="check_meta_robots" type="boolean"> yes </attrib>
        <attrib name="cookie_timeout" type="integer"> 900 </attrib>
        <section name="crawlmode">
            <attrib name="fwdlinks" type="boolean"> yes </attrib>
            <attrib name="fwdredirects" type="boolean"> yes </attrib>
            <attrib name="mode" type="string"> FULL </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>
        <attrib name="csum_cut_off" type="integer"> 0 </attrib>
        <attrib name="cut_off" type="integer"> 5000000 </attrib>
        <attrib name="dbswitch" type="integer"> 5 </attrib>
        <attrib name="dbswitch_delete" type="boolean"> no </attrib>
        <attrib name="delay" type="real"> 60.0 </attrib>
        <attrib name="domain_clustering" type="boolean"> no </attrib>
        <attrib name="enforce_delay_per_ip" type="boolean"> yes </attrib>
        <attrib name="exclude_exts" type="list-string">
            <member> .jpg </member>
            <member> .jpeg </member>
            <member> .ico </member>
            <member> .tif </member>
            <member> .png </member>
            <member> .bmp </member>
            <member> .gif </member>
            <member> .wmf </member>
            <member> .avi </member>
            <member> .mpg </member>
            <member> .wmv </member>
            <member> .wma </member>
            <member> .ram </member>
            <member> .asx </member>
            <member> .asf </member>
            <member> .mp3 </member>
            <member> .wav </member>
            <member> .ogg </member>
            <member> .ra </member>
            <member> .aac </member>
            <member> .m4a </member>
            <member> .zip </member>
            <member> .gz </member>
            <member> .vmarc </member>
            <member> .z </member>
            <member> .tar </member>
            <member> .iso </member>
            <member> .img </member>
            <member> .rpm </member>
            <member> .cab </member>
            <member> .rar </member>
            <member> .ace </member>
            <member> .hqx </member>
            <member> .swf </member>
            <member> .exe </member>
            <member> .java </member>
            <member> .jar </member>
            <member> .prz </member>
            <member> .wrl </member>
            <member> .midr </member>
            <member> .css </member>
            <member> .ps </member>
            <member> .ttf </member>
            <member> .mso </member>
            <member> .dvi </member>
        </attrib>
        <attrib name="extract_links_from_dupes" type="boolean"> no </attrib>
        <attrib name="fetch_timeout" type="integer"> 300 </attrib>
        <attrib name="force_mimetype_detection" type="boolean"> no </attrib>
        <section name="ftp_errors">
            <attrib name="4xx" type="string"> DELETE:3 </attrib>
            <attrib name="550" type="string"> DELETE:0 </attrib>
            <attrib name="5xx" type="string"> DELETE:3 </attrib>
            <attrib name="int" type="string"> KEEP:0 </attrib>
            <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
            <attrib name="ttl" type="string"> DELETE:3 </attrib>
        </section>
        <attrib name="headers" type="list-string">
            <member> User-Agent: FAST Enterprise Crawler 6 </member>
        </attrib>
        <attrib name="html_redir_is_redir" type="boolean"> yes </attrib>
        <attrib name="html_redir_thresh" type="integer"> 3 </attrib>
        <section name="http_errors">
            <attrib name="4xx" type="string"> DELETE:0 </attrib>
            <attrib name="5xx" type="string"> DELETE:10 </attrib>
            <attrib name="int" type="string"> KEEP:0 </attrib>
            <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
            <attrib name="ttl" type="string"> DELETE:3 </attrib>
        </section>
        <attrib name="if_modified_since" type="boolean"> yes </attrib>
        <attrib name="javascript_keep_html" type="boolean"> no </attrib>
        <section name="limits">
            <attrib name="disk_free" type="integer"> 0 </attrib>
            <attrib name="disk_free_slack" type="integer"> 3 </attrib>
            <attrib name="max_doc" type="integer"> 0 </attrib>
            <attrib name="max_doc_slack" type="integer"> 1000 </attrib>
        </section>
        <section name="link_extraction">
            <attrib name="a" type="boolean"> yes </attrib>
            <attrib name="action" type="boolean"> yes </attrib>
            <attrib name="area" type="boolean"> yes </attrib>
            <attrib name="card" type="boolean"> yes </attrib>
            <attrib name="comment" type="boolean"> no </attrib>
            <attrib name="embed" type="boolean"> no </attrib>
            <attrib name="frame" type="boolean"> yes </attrib>
            <attrib name="go" type="boolean"> yes </attrib>
            <attrib name="img" type="boolean"> no </attrib>
            <attrib name="layer" type="boolean"> yes </attrib>
            <attrib name="link" type="boolean"> yes </attrib>
            <attrib name="meta" type="boolean"> yes </attrib>
            <attrib name="meta_refresh" type="boolean"> yes </attrib>
        </section>
        <section name="log">
            <attrib name="dsfeed" type="string"> text </attrib>
            <attrib name="fetch" type="string"> text </attrib>
            <attrib name="postprocess" type="string"> text </attrib>
            <attrib name="site" type="string"> text </attrib>
        </section>
        <attrib name="login_failed_ignore" type="boolean"> no </attrib>
        <attrib name="login_timeout" type="integer"> 300 </attrib>
        <attrib name="max_backoff_counter" type="integer"> 50 </attrib>
        <attrib name="max_backoff_delay" type="integer"> 600 </attrib>
        <attrib name="max_doc" type="integer"> 1000000 </attrib>
        <attrib name="max_pending" type="integer"> 2 </attrib>
        <attrib name="max_redirects" type="integer"> 10 </attrib>
        <attrib name="max_reflinks" type="integer"> 0 </attrib>
        <attrib name="max_sites" type="integer"> 128 </attrib>
        <attrib name="max_uri_recursion" type="integer"> 5 </attrib>
        <attrib name="mufilter" type="integer"> 0 </attrib>
        <attrib name="near_duplicate_detection" type="boolean"> no </attrib>
        <attrib name="obey_robots_delay" type="boolean"> no </attrib>
        <section name="pp">
            <attrib name="ds_max_ecl" type="integer"> 10 </attrib>
            <attrib name="ds_meta_info" type="list-string">
                <member> duplicates </member>
                <member> redirects </member>
                <member> mirrors </member>
                <member> metadata </member>
            </attrib>
            <attrib name="ds_paused" type="boolean"> no </attrib>
            <attrib name="ds_send_links" type="boolean"> no </attrib>
            <attrib name="max_dupes" type="integer"> 10 </attrib>
            <attrib name="stripe" type="integer"> 1 </attrib>
        </section>
        <section name="ppdup">
            <attrib name="compact" type="boolean"> yes </attrib>
        </section>
        <attrib name="proxy_max_pending" type="integer"> 2147483647 </attrib>
        <attrib name="refresh" type="real"> 1440.0 </attrib>
        <attrib name="refresh_mode" type="string"> scratch </attrib>
        <attrib name="refresh_when_idle" type="boolean"> no </attrib>
        <attrib name="robots" type="boolean"> yes </attrib>
        <attrib name="robots_auth_ignore" type="boolean"> yes </attrib>
        <attrib name="robots_timeout" type="integer"> 300 </attrib>
        <attrib name="robots_tout_ignore" type="boolean"> no </attrib>
        <attrib name="robots_ttl" type="integer"> 86400 </attrib>
        <section name="rss">
            <attrib name="auto_discover" type="boolean"> no </attrib>
            <attrib name="del_expired_links" type="boolean"> no </attrib>
            <attrib name="follow_links" type="boolean"> no </attrib>
            <attrib name="ignore_rules" type="boolean"> no </attrib>
            <attrib name="index_feed" type="boolean"> no </attrib>
            <attrib name="max_link_age" type="integer"> 0 </attrib>
            <attrib name="max_link_count" type="integer"> 128 </attrib>
        </section>
        <attrib name="smfilter" type="integer"> 0 </attrib>
        <attrib name="sort_query_params" type="boolean"> no </attrib>
        <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com </member>
        </attrib>
        <section name="storage">
            <attrib name="clusters" type="integer"> 8 </attrib>
            <attrib name="compress" type="boolean"> yes </attrib>
            <attrib name="compress_exclude_mime" type="list-string">
                <member> application/x-shockwave-flash </member>
            </attrib>
            <attrib name="datastore" type="string"> bstore </attrib>
            <attrib name="defrag_threshold" type="integer"> 85 </attrib>
            <attrib name="remove_docs" type="boolean"> no </attrib>
            <attrib name="store_dupes" type="boolean"> no </attrib>
            <attrib name="store_http_header" type="boolean"> yes </attrib>
        </section>
        <attrib name="truncate" type="boolean"> no </attrib>
        <attrib name="umlogs" type="boolean"> yes </attrib>
        <attrib name="uri_search_mime" type="list-string">
            <member> text/html </member>
            <member> text/vnd.wap.wml </member>
            <member> text/wml </member>
            <member> text/x-wap.wml </member>
            <member> x-application/wml </member>
            <member> text/x-hdml </member>
        </attrib>
        <attrib name="use_cookies" type="boolean"> no </attrib>
        <attrib name="use_http_1_1" type="boolean"> yes </attrib>
        <attrib name="use_javascript" type="boolean"> no </attrib>
        <attrib name="use_meta_csum" type="boolean"> no </attrib>
        <attrib name="use_sitemaps" type="boolean"> no </attrib>
        <section name="workqueue_priority">
            <attrib name="default" type="integer"> 1 </attrib>
            <attrib name="levels" type="integer"> 1 </attrib>
            <attrib name="pop_scheme" type="string"> default </attrib>
            <attrib name="start_uri_pri" type="integer"> 1 </attrib>
        </section>
   </DomainSpecification>
</CrawlerConfig>

See Also

Reference

crawleradmin.exe リファレンス

Concepts

crawlerglobaldefaults.xml リファレンス