웹 크롤러 XML 구성 참조

적용 대상: FAST Search Server 2010

마지막으로 수정된 항목: 2016-11-29

FAST Search 웹 크롤러는 웹 사이트에서 정보를 검색하여 Microsoft FAST Search Server 2010 for SharePoint 인덱스에 전달합니다. FAST Search 웹 크롤러를 구성하려면 이 문서에 지정된 형식으로 XML 구성 파일을 만들고 crawleradmin.exe 명령줄 도구를 사용하여 웹 크롤러에 제출합니다.

이 문서에 설명된 형식은 새 크롤링 모음에 대한 모든 기본 옵션/값이 포함된 crawlercollectiondefaults.xml 파일에도 사용됩니다. 이를 수정하는 경우 모든 새 모음에 대한 기본값이 변경됩니다. 특정 크롤링 모음의 XML 구성에 지정되어 있지 않은 모든 옵션에는 기본값이 사용됩니다.

이러한 구성 파일의 형식은 XML 스키마를 따라야 합니다. 이 문서에는 단순한 구성 파일과 일반적인 구성 파일의 예가 나와 있습니다. 구성 파일의 요소와 섹션에 대한 개요를 보려면 crawlercollectiondefaults.xml 빠른 참조에 나와 있는 표를 참조하십시오.

주요 용어

웹 사이트. SharePoint 사이트가 아니라 www.contoso.com과 같은 웹 사이트의 콘텐츠를 나타냅니다.

호스트 이름. http://contoso/의 "contoso"나 http://download.contoso.com/의 "download.contoso.com"을 나타냅니다. 호스트 이름은 정규화된 이름일 수도 있고 그렇지 않을 수도 있습니다. 이 문서에서 웹 사이트는 실제 사이트와 사이트의 콘텐츠를 의미하는 반면 호스트 이름은 특정 웹 서버에 연결하는 데 사용되는 네트워크 이름을 의미한다는 점에서 두 용어는 서로 차이가 있습니다. 단일 사이트에 호스트 이름이 여러 개 있을 수 있습니다.

새 크롤링 구성 만들기

다음 단계에 따라 이 XML 구성 형식을 사용하여 새 크롤링 구성을 만듭니다.

1. <FASTSearchFolder>\etc에 있는 세 가지 제공된 크롤링 구성 서식 파일 중 하나를 MyCollection.xml과 같은 새 파일에 복사하거나 새 파일을 만듭니다. 여기서 <FASTSearchFolder>는 FAST Search Server 2010 for SharePoint를 설치한 폴더의 경로(예: C:\FASTSearch)입니다. 텍스트 편집기에서 파일을 편집하여 사용해야 할 요소와 설정을 포함합니다.

   참고

   메모장 같은 텍스트 편집기를 사용하여 crawlercollectiondefaults.xml을 변경합니다. 범용 XML 편집기는 사용하지 마십시오.

2. crawleradmin.exe –f MyCollection.xml을 실행하여 크롤링 구성을 크롤러에 추가합니다. MyCollection.xml 을 1단계에서 지정한 파일 이름으로 바꿉니다.

자세한 내용은 crawleradmin.exe 참조를 참조하십시오.

crawlercollectiondefaults.xml 사용자 지정

이 파일을 편집하려면

1. 텍스트 편집기에서 crawlercollectiondefaults.xml 을 편집하여 사용해야 할 요소와 설정을 포함합니다. <FASTSearchFolder>\etc\ 에 있는 기존 파일을 시작 지점으로 사용합니다.

   참고

   메모장 같은 텍스트 편집기를 사용하여 crawlercollectiondefaults.xml을 변경합니다. 범용 XML 편집기는 사용하지 마십시오.

2. nctrl.exe restart crawler를 실행하여 1단계에서 설정한 옵션으로 FAST Search 웹 크롤러 프로세스를 다시 시작합니다.

웹 크롤러 XML 구성 빠른 참조

이 표에는 웹 크롤러 XML 구성 형식에 포함되는 요소가 나와 있습니다. 다음과 같은 몇 가지 사항만 제외하면 요소는 어떠한 순서로도 나올 수 있습니다. 먼저 CrawlerConfig는 DomainSpecification 요소를 포함해야 합니다. SubDomain, Login 및 Node의 주 요소는 DomainSpecification 요소 내에 포함해야 합니다. section 및 attrib 하위 요소는 모든 주 요소 내에 어떠한 순서로도 포함할 수 있습니다. member 하위 요소는 attrib 요소 내에만 포함해야 합니다.

<CrawlerConfig>
      <DomainSpecification>
             <SubDomain/>
             <Login/>
             <Node/>
             <attrib>
                    <member/> 
             </attrib>
             <section/>
      </DomainSpecifcation>
</CrawlerConfig>

일반적으로 SubDomain, Login 및 section 요소는 attrib와 section 하위 요소를 모두 포함합니다. Node 요소는 이러한 모든 요소와 하위 요소를 포함할 수 있습니다.

이 표에는 Web Crawler XML 구성 형식의 section 옵션이 정의되어 있습니다. CrawlerConfig 요소 내에는 section을 포함할 수 없습니다.

웹 크롤러 XML 구성 파일 형식

구성 파일의 XML 요소는 <로 시작해서 />로 끝납니다.

기본 요소 형식은 다음과 같습니다.

<attrib name=" 값 " type=" 값 "> 값 </attrib>

예를 들면 다음과 같습니다.

<attrib name="accept_compression" type="boolean"> yes </attrib>

요소, 섹션 이름, 특성 및 특성 값은 대/소문자를 구분합니다. 특성 이름과 형식은 따옴표(" ")로 묶어야 합니다. 요소 정의는 여러 줄에 입력할 수 있습니다. 요소 정의에서 공백, 캐리지 리턴, 라인 피드 및 탭 문자는 무시됩니다.

예를 들면 다음과 같습니다.

<attrib
    name=" accept_compression "
    type="boolean"
> yes </attrib
>

<CrawlerConfig> 요소는 특수한 경우이며 필수 요소입니다. 다른 모든 요소는 <CrawlerConfig> 요소 내에 포함되며 이 요소는 </CrawlerConfig>.를 사용하여 닫습니다.

다음은 XML 파일의 기본 구조를 보여 주는 예입니다.

<?xml version="1.0"?>
<CrawlerConfig>
    <DomainSpecification>
        ...
    </DomainSpecification>
</CrawlerConfig>

<!--와 -->로 구분하여 어디에든 주석을 추가할 수 있습니다.

CrawlerConfig

이 최상위 요소는 이 요소 다음에 나오는 XML이 웹 크롤러 구성 개체임을 지정합니다. CrawlerConfig XML 요소는 웹 크롤러 구성 파일에 하나만 포함할 수 있습니다.

DomainSpecification

이 요소는 크롤링 모음을 지정합니다.

예

<CrawlerConfig>
  <DomainSpecification name="sp">
  ...
  </DomainSpecification>
</CrawlerConfig>

"sp"를 크롤링 모음 이름으로 바꿉니다.

attrib

이 요소는 구성 옵션을 단일 값으로 지정하거나 member 요소를 사용하여 목록으로 지정합니다.

특성

<META HTTP-EQUIV="Refresh" CONTENT="3;URL=http://www.some.org/some.html">

<meta name="robots" content="nofollow,noindex"/>

<meta http-equiv="robots" content="nofollow,noindex"/>

예

<attrib name="delay" type="real"> 60.0 </attrib>

<attrib name="max_doc" type="integer"> 10000 </attrib>

<attrib name="use_javascript" type="boolean"> no </attrib>

<attrib name="info" type="string">
My Web crawl collection crawling my intranet.
</attrib>

<attrib name="allowed_schemes" type="list-string">
    <member> http </member>
    <member> https </member>
</attrib>

member

이 요소는 옵션 값 목록 형식으로 요소를 지정합니다.

member 요소는 attrib 요소 내에서만 사용할 수 있습니다.

예

<attrib name="allowed_schemes" type="list-string">
    <member> http </member>
    <member> https </member>
</attrib>

section

이 요소는 관련 옵션 집합을 그룹화합니다. section 요소는 attrib 요소를 포함합니다.

특성

예

<section name="crawlmode">
    <attrib name="fwdlinks" type="boolean"> no </attrib>
    <attrib name="fwdredirects" type="boolean"> no </attrib>
    <attrib name="mode" type="string"> FULL </attrib>
    <attrib name="reset_level" type="boolean"> no </attrib>
</section>

include_domains

이 섹션은 크롤링 모음에 포함할 URI를 지정하는 호스트 이름 필터 집합입니다. 비어 있는 섹션은 모든 호스트 이름과 일치합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="include_domains">
   <attrib name="exact" type="list-string">
      <member> www.contoso.com </member>
      <member> www2.contoso.com </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> www </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> .contoso.com</member>
      <member> .contoso2.com</member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> .*\.contoso\.com </member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myinclude_domains.txt </member>
   </attrib>
</section>

exclude_domains

이 섹션은 크롤링 모음에서 제외할 URI를 지정하는 호스트 이름 필터 집합입니다. 비어 있는 섹션은 어떤 호스트 이름과도 일치하지 않습니다.

특성

이 섹션의 attrib 요소는 include_domains에 나오는 표를 참조하십시오.

예

<section name="exclude_domains">
   <attrib name="exact" type="list-string">
      <member> www.contoso.com </member>
      <member> www2.contoso.com </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> www </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> .contoso.com</member>
      <member> .contoso2.com</member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> .*\.contoso\.com </member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myexclude_domains.txt </member>
   </attrib>
</section>

include_uris

이 섹션은 크롤링 모음에 포함할 URI를 지정하는 URI 기반 규칙 집합입니다. 비어 있는 섹션은 모든 URI와 일치합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="include_uris">
   <attrib name="exact" type="list-string">
      <member> https://www.contoso.com/documents/doc2.html </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> https://www.contoso.com/documents/ </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> /doc2.html </member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> http://.*\.contoso\.com/documents.*</member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myinclude_uris.txt </member>
   </attrib>
</section>

exclude_uris

이 섹션은 크롤링 모음에서 제외할 URI를 지정하는 URI 기반 규칙 집합입니다. 비어 있는 섹션은 어떤 URI와도 일치하지 않습니다.

특성

이 섹션의 attrib 요소는 include_uris에 나오는 표를 참조하십시오.

예

<section name="exclude_uris">
   <attrib name="exact" type="list-string">
      <member> https://www.contoso.com/documents/doc2.html </member>
   </attrib>
   <attrib name="prefix" type="list-string">
      <member> https://www.contoso.com/documents/ </member>
   </attrib>
   <attrib name="suffix" type="list-string">
      <member> /doc2.html </member>
   </attrib>
   <attrib name="regexp" type="list-string">
      <member> http://.*\.contoso\.com/documents.*</member>
   </attrib>
   <attrib name="file" type="list-string">
       <member> c:\myexclude_uris.txt </member>
   </attrib>
</section>

log

이 섹션은 웹 크롤러 프로세스의 로깅 동작을 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="log">
   <attrib name="dsfeed" type="string"> text </attrib>
   <attrib name="fetch" type="string"> text </attrib>
   <attrib name="postprocess" type="string"> text </attrib>
   <attrib name="screened" type="string"> none </attrib>
   <attrib name="site" type="string"> text </attrib>
</section>

storage

이 섹션은 웹 크롤러가 데이터와 메타데이터를 저장하는 방식을 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="storage">
   <attrib name="store_dupes" type="boolean"> no </attrib>
   <attrib name="datastore" type="string"> bstore </attrib>
   <attrib name="compress" type="boolean"> yes </attrib>
</section>

pp

이 섹션은 노드 스케줄러의 사후 처리 동작을 지정합니다. 사후 처리는 웹 항목을 인덱스에 공급하는 것과 중복된 항목을 검색하는 두 가지 주요 작업으로 이루어집니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="pp">
   <attrib name="max_dupes" type="integer"> 10 </attrib>
   <attrib name="use_dupservers" type="boolean"> yes </attrib>
   <attrib name="ds_paused" type="boolean"> no </attrib>
</section>

ppdup

이 섹션은 중복 서버 설정을 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="ppdup">
   <attrib name="format" type="string"> hashlog </attrib>
   <attrib name="stripes" type="integer"> 1 </attrib>
      <!-- 1 GB memory hash -->
   <attrib name="cachesize" type="integer"> 1024 </attrib>
   <attrib name="compact" type="boolean"> yes </attrib>
</section>

feeding

feeding 섹션은 크롤링 모음의 표현을 인덱싱 엔진으로 보내는 방법을 지정하는 하나 이상의 section XML 요소로 이루어집니다. 이러한 섹션은 콘텐츠 대상을 지정합니다. name 특성은 콘텐츠 대상의 고유 이름을 지정합니다.

특성

다음 표에는 콘텐츠 대상 섹션의 attrib 요소가 나와 있습니다.

예

<section name="feeding">
    <section name="Global_News">
        <attrib name="collection" type="string"> collection_A </attrib>
        <attrib name="destination" type="string"> default </attrib>
        <attrib name="primary" type="boolean"> yes </attrib>
        <attrib name="paused" type="boolean"> no </attrib>
    </section>
    <section name="Local_News">
        <attrib name="collection" type="string"> collection_B </attrib>
        <attrib name="destination" type="string"> default </attrib>
        <attrib name="primary" type="boolean"> no </attrib>
        <attrib name="paused" type="boolean"> no </attrib>
     </section>
</section>

cachesize

이 섹션은 웹 크롤러 프로세스의 캐시 크기를 구성합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="cachesize">
      <!-- Specific cache size values (in number of items) for the following: -->
      <attrib name="duplicates" type="integer"> 128 </attrib>
      <attrib name="screened" type="integer"> 128 </attrib>
      <attrib name="smcomm" type="integer"> 128 </attrib>
      <attrib name="mucomm" type="integer"> 128 </attrib>
      <attrib name="wqcache" type="integer"> 4096 </attrib>
      <!-- Automatic cache size for crosslinks -->
      <attrib name="crosslinks" type="integer"> </attrib>
      <!-- Cache sizes in bytes for the following -->
      <attrib name="routetab" type="integer"> 1048576 </attrib>
      <attrib name="pp" type="integer"> 1048576 </attrib>
      <attrib name="pp_pending" type="integer"> 1048576 </attrib>
      <attrib name="aliases" type="integer"> 1048576 </attrib>
   </section>

http_errors

이 섹션은 HTTP/HTTPS 오류 응답 코드와 조건을 처리하는 방법을 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다. name 특성의 값은 여러 가지이므로 이름 열에는 각 이름의 용도가 설명되어 있습니다.

http_errors 섹션의 기본값

다음 표에는 http_errors 섹션의 기본값이 나와 있습니다.

예

<section name="http_errors">
    <attrib name="408" type="string"> KEEP </attrib>
    <attrib name="4xx" type="string"> DELETE </attrib>
    <attrib name="5xx" type="string"> DELETE:10, RETRY:3 </attrib>
    <attrib name="ttl" type="string"> DELETE:3 </attrib>
    <attrib name="net" type="string"> DELETE:3 </attrib>
    <attrib name="int" type="string"> KEEP </attrib>
</section>

ftp_errors

이 섹션은 FTP URI에 대한 응답 코드와 오류 조건을 처리하는 방법을 지정합니다.

특성

이 섹션의 attrib 요소는 http_errors에 나오는 표를 참조하십시오.

ftp_errors 섹션의 기본값

다음 표에는 ftp_errors 섹션의 기본값이 나와 있습니다.

예

<section name="ftp_errors">
    <attrib name="4xx" type="string"> DELETE:3 </attrib>
    <attrib name="550" type="string"> DELETE:0 </attrib>
    <attrib name="5xx" type="string"> DELETE:3 </attrib>
    <attrib name="int" type="string"> KEEP:0 </attrib>
    <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
    <attrib name="ttl" type="string"> DELETE:3 </attrib>
</section>

workqueue_priority

이 섹션은 크롤링 큐의 우선 순위 수준을 지정하고, 큐에 URI를 삽입하거나 큐에서 URI를 추출하는 데 사용되는 규칙과 모드를 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

우선 순위 수준 섹션

workqueue_priority 섹션 내에 크롤링 큐의 우선 순위 수준과 가중치를 지정하는 일련의 섹션을 정의할 수 있습니다. 이러한 섹션은 pop_scheme 매개 변수를 wrr이나 pri로 설정한 경우에만 사용됩니다. 이러한 섹션의 name 특성은 지정할 우선 순위 수준이어야 합니다. 우선 순위 수준은 1에서 시작해야 합니다(다음 예의 <section name="1"> 참조).

include_domains 및 include_uris에 나온 대로 각 우선 순위 수준 섹션 내에 include_domains나 include_uris 섹션을 사용할 수 있습니다. 이러한 규칙과 일치하는 URI는 일치하는 우선 순위 수준을 사용하여 큐에 놓입니다. 다음 표에는 이러한 섹션의 attrib 요소도 나와 있습니다.

예

<section name="workqueue_priority">
    <attrib name="levels" type="integer"> 2 </attrib>
    <attrib name="default" type="integer"> 2 </attrib>
    <attrib name="start_uri_pri" type="integer"> 1 </attrib>
    <attrib name="pop_scheme" type="string"> wrr </attrib>
    <attrib name="put_scheme" type="string"> include </attrib>
    <section name="1">
        <attrib name="share" type="integer"> 10 </attrib>
        <section name="include_domains">
            <attrib name="suffix" type="list-string">
                <member> web005.contoso.com  </member>
            </attrib>
        </section>
    </section>
    <section name="2">
        <attrib name="share" type="integer"> 5 </attrib>
        <section name="include_domains">
           <attrib name="suffix" type="list-string">
              <member> web002.contoso.com  </member>
           </attrib>
        </section>
    </section>
</section>

link_extraction

이 섹션은 따라서 이동할 하이퍼링크의 종류를 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="link_extraction">
   <attrib name="action" type="boolean"> yes </attrib>
   <attrib name="img" type="boolean"> no </attrib>
   <attrib name="link" type="boolean"> yes </attrib>
   <attrib name="meta" type="boolean"> yes </attrib>
   <attrib name="meta_refresh" type="boolean"> yes </attrib>
   <attrib name="object" type="boolean"> yes </attrib>
   <attrib name="script_java" type="boolean"> yes </attrib>
</section>

limits

limits 섹션은 크롤링 모음에 대한 유사 시 대기 제한을 지정합니다. 크롤링 모음이 이 제한을 초과하면 "refresh only" 크롤링 모드로 전환됩니다. 즉, 이전에 크롤링된 URI만 다시 크롤링됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="limits">
   <attrib name="disk_free" type="integer"> 0 </attrib>
   <attrib name="disk_free_slack" type="integer"> 3 </attrib>
   <attrib name="max_doc" type="integer"> 0 </attrib>
   <attrib name="max_doc_slack" type="integer"> 1000 </attrib>
</section>

focused

이 섹션은 집중된 일정을 구성합니다. exclude_domains 섹션을 focused 섹션 내에 포함하여 이 집중된 일정에서 호스트 이름을 제외할 수 있습니다. exclude_domains 섹션을 정의하지 않으면 모든 호스트 이름이 집중된 일정에 포함됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

다음 예에서는 크롤러가 노르웨이어나 영어로 된 모든 항목이나 알 수 없는 언어로 된 콘텐츠를 모두 저장합니다. 지정되지 않은 다른 모든 언어의 경우 크롤러는 두 수준까지만 링크를 따라서 이동합니다. 또한 contoso.com의 모든 콘텐츠는 언어 검사에서 제외되고 자동으로 저장됩니다.

<section name="focused">
   <!-- Crawl Norwegian, English and content of unknown language -->
   <attrib name="languages" type="list-string">
      <member> norwegian </member>
      <member> unknown </member>
      <member> en </member>
   </attrib>
   <!--Follow hyperlinks containing other languages for 2 levels -->
   <attrib name="depth" type="integer"> 2 </attrib>
   <!-- Exclude anything under .contoso.com from language checks, -->   
   <section name="exclude_domains">
      <attrib name="suffix" type="list-string">
         <member> .contoso.com </member>
      </attrib>
   </section>
</section>

passwd

이 섹션은 인증이 필요한 웹 사이트의 자격 증명을 구성합니다. 웹 크롤러는 기본 인증, 다이제스트 인증 및 NTLM 인증을 지원합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="passwd">
    <attrib name="https://www.contoso.com/confidential1/" type="string">
      user:password:contoso:auto
    </attrib>
</section>

ftp_acct

이 섹션은 FTP URI를 크롤링하는 데 사용할 FTP 계정을 지정합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="ftp_acct">
   <attrib name="ftp.contoso.com" type="string"> user:pass </attrib>
</section>

exclude_headers

이 섹션은 HTTP 헤더 필드의 내용을 기준으로 크롤링에서 웹 항목을 제외하는 데 사용됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="exclude_headers">
   <attrib name="Header Name" type="list-string">
      <member> .*excluded.*value </member>
   </attrib>
</section>

variable_delay

이 섹션은 다른 지연 요청 속도를 사용하는 시간 슬롯을 지정합니다. 시간 슬롯을 지정하지 않으면 크롤러는 attrib에 나온 대로 delay 구성 매개 변수를 사용합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

다음은 웹 크롤러가 한 주 동안 서로 다른 지연 간격을 사용하는 방법을 보여 줍니다. 수요일 오전 9시부터 오후 7시 사이에는 웹 크롤러가 20초의 지연을 사용하고 월요일 오전 9시와 오후 5시 사이에는 크롤링을 일시 중단하며 그 외 다른 시간에는 60초의 지연을 사용합니다.

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="variable_example">
      <section name="variable_delay">
         <attrib name="Wed:09-Wed:19" type="string">20 </attrib>
         <attrib name="Mon:09-Mon:17" type="string">suspend</attrib>
      </section>
   </DomainSpecification>
</CrawlerConfig>

adaptive

이 섹션은 빠른 증분 크롤링 옵션을 지정합니다. 웹 크롤러가 이 섹션을 사용하도록 하려면 attrib에 나온 대로 refresh_mode 구성 매개 변수를 adaptive로 설정해야 합니다.

빠른 증분 크롤링 동작은 weights 및 sitemap_weights 섹션을 사용하여 제어할 수 있습니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

        <section name="adaptive">
            <attrib name="refresh_count" type="integer"> 4 </attrib>
            <attrib name="refresh_quota" type="integer"> 98 </attrib>
            <attrib name="coverage_max_pct" type="integer"> 25 </attrib>
            <attrib name="coverage_min" type="integer"> 10 </attrib>

            <!-- Ranking weights. Each scoring criteria adds a score between -->
            <!-- 0.0 and 1.0 which is then multiplied with the associated    -->
            <!-- weight below. Use a weight of 0 to disable a scorer         --> 
        
           <section name="weights">
                <attrib name="inverse_length" type="real"> 1.0 </attrib>
                <attrib name="inverse_depth" type="real"> 1.0 </attrib>
                <attrib name="is_landing_page" type="real"> 1.0 </attrib>
                <attrib name="is_mime_markup" type="real"> 1.0 </attrib>
                <attrib name="change_history" type="real"> 10.0 </attrib>
            </section>
        </section>

weights

빠른 증분 크롤링 프로세스에서는 이 섹션의 각 URI에 점수가 할당됩니다. 이 점수는 URI에 우선 순위를 부여하며 일련의 규칙에 기반을 둡니다. 각 규칙에는 weights 섹션에 지정된 총 점수에 대한 규칙의 기여도를 결정하는 가중치가 할당됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<!-- Ranking weights. Each scoring criteria adds a score between -->
            <!-- 0.0 and 1.0 which is then multiplied with the associated    -->
            <!-- weight below. Use a weight of 0 to disable a scorer         -->
            <section name="weights">
                <!-- Score based on the number of /'es (segments) in the -->
                <!-- URI. Max score with one, no score with 10 or more   -->
                <attrib name="inverse_length" type="real"> 1.0 </attrib>

                <!-- Score based on the number of link "levels" down to -->
                <!-- this URI. Max score with none, no score with >= 10 -->
                <attrib name="inverse_depth" type="real"> 1.0 </attrib>

                <!-- Score added if URI is determined as a "landing page", -->
                <!-- defined as e.g. ending in "/" or "index.html". URIs   -->
                <!-- with query parameters are not given score             -->
                <attrib name="is_landing_page" type="real"> 1.0 </attrib>

                <!-- Score added if URI points to a markup document as    -->
                <!-- defined by the "uri_search_mime" option. Assumption  -->
                <!-- being that such content changes more often than e.g. -->
                <!-- "static" Word or PDF documents.                      -->
                <attrib name="is_mime_markup" type="real"> 1.0 </attrib>

                <!-- Score based on change history tracked over time by   -->
                <!-- using an estimator based on last modified date given -->
                <!-- by the web server. If no modified date returned then -->
                <!-- one is estimated (based on whether the document has  -->
                <!-- changed or not).                                     -->
                <attrib name="change_history" type="real"> 10.0 </attrib>
            </section>
  

sitemap_weights

이 섹션에서 사이트 맵의 <URL> 항목에 URI를 수정할 수 있는 빈도를 지정하는 changefreq 요소를 포함할 수 있습니다.

이 요소에 사용할 수 있는 올바른 문자열 값은 always, hourly, daily, weekly, monthly, yearly 및 never입니다. 빠른 증분 크롤링에서는 문자열 값이 숫자 가중치로 변환됩니다. sitemap_weights 섹션은 문자열 값에서 숫자 가중치로의 매핑을 지정합니다. 이 숫자 가중치는 weights 섹션의 사이트 맵 점수를 계산하는 데 사용됩니다.

URI에 대한 빠른 증분 크롤링 점수는 숫자 가중치에 sitemap 구성 매개 변수 가중치를 곱해서 계산됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="sitemap_weights">
    <attrib name="always" type="real"> 1.0 </attrib>
    <attrib name="hourly" type="real"> 0.64 </attrib>
    <attrib name="daily" type="real"> 0.32 </attrib>
    <attrib name="weekly" type="real"> 0.16 </attrib>
    <attrib name="monthly" type="real"> 0.08 </attrib>
    <attrib name="yearly" type="real"> 0.04 </attrib>
    <attrib name="never" type="real"> 0.0 </attrib>
    <attrib name="default" type="real"> 0.16 </attrib>
</section>

site_clusters

이 섹션은 노드 스케줄러에서 호스트 이름을 라우팅하는 크롤러 동작을 재정의하는 구성 매개 변수를 지정합니다. 이 매개 변수는 일련의 호스트 이름이 동일한 노드 스케줄러와 사이트 관리자로 라우팅되도록 합니다. 이 매개 변수는 use_cookies 설정을 사용하는 경우 유용한데, 쿠키는 한 사이트 관리자 프로세스에서만 전역으로 사용되기 때문입니다. 또한 특정 웹 사이트가 서로 밀접하게 연결되어 있는 것을 알고 있는 경우 해당 호스트 이름을 그룹으로 묶어 내부 통신량을 줄일 수 있습니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="site_clusters">
    <attrib name="mycluster" type="list-string">
        <member> host1.constoso.com </member>
        <member> host2.constoso.com </member>
        <member> host3.constoso.com </member>
    </attrib>
</section>

crawlmode

이 섹션은 크롤링 모음의 범위를 제한합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

        <section name="crawlmode">
            <attrib name="mode" type="string"> DEPTH:1 </attrib>
            <attrib name="fwdlinks" type="boolean"> yes </attrib>
            <attrib name="fwdredirects" type="boolean"> yes </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>

post_payload

이 섹션은 콘텐츠를 HTTP POST 요청에 전송하는 데 사용됩니다. URI 접두사와 일치하거나 URI와 완전히 일치하는 URI로 콘텐츠가 전송됩니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="post_payload">
    <attrib name="prefix:https://www.contoso.com/secure" type="string"> variable1=value1&amp;variableB=valueB </attrib>
</section>

rss

이 섹션은 크롤링 모음의 RSS 피드 지원을 초기화하고 구성합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

        <section name="rss">
            <!-- Attempt to discover new rss feeds, yes/no                  -->
            <attrib name="auto_discover" type="boolean"> yes </attrib>
            <attrib name="del_expired_links" type="boolean"> yes </attrib>
            <attrib name="follow_links" type="boolean"> yes </attrib>
            <attrib name="ignore_rules" type="boolean"> no </attrib>
            <attrib name="index_feed" type="boolean"> no </attrib>
            <attrib name="max_link_age" type="integer"> 0 </attrib>
            <attrib name="max_link_count" type="integer"> 128 </attrib>
            <attrib name="start_uris" type="list-string">
                <member> http://www.startsiden.no/rss.rss </member>
            </attrib>
            <!-- Start uri files (optional)                                 -->
            <attrib name="start_uri_files" type="list-string">
                <member> /usr/fast/etc/rss_seedlist.txt </member>
            </attrib>
        </section>

logins

이 섹션은 HTML 양식 기반 인증에 사용할 logins 섹션 요소를 하나 이상 지정합니다. 각 섹션에는 특정 웹 사이트 로그인이 연결되며 이러한 각 로그인은 name 특성에 고유한 로그인 이름을 포함해야 합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

주의

Login 요소를 logins 섹션 대신 사용할 수 있습니다.

예

        <section name="logins">
            <section name="mytestlogin">
                <!-- Instructs the crawler to "preload" potential cookies by -->
                <!-- fetching this page and register any cookies before      -->
                <!-- proceeding with login                                   -->
                <attrib name="preload" type="string">http://preload.contoso.com/</attrib>
                <attrib name="scheme" type="string"> https </attrib>
                <attrib name="site" type="string"> login.contoso.com </attrib>
                <attrib name="form" type="string"> /path/to/some/form.cgi </attrib> 
                <attrib name="action" type="string">POST</attrib> 
                <section name="parameters"> 
                    <attrib name="user" type="string"> username </attrib>
                    <attrib name="password" type="string"> password </attrib>
                    <attrib name="target" type="string"> sometarget </attrib>
                </section> 
                <!-- Host names of sites requiring this login to crawl -->
                <attrib name="sites" type="list-string"> 
                    <member> site1.contoso.com </member> 
                    <member> site2.contoso.com </member> 
                </attrib> 
                <!-- Time to live for login cookie. Will re-log in when expires -->
                <attrib name="ttl" type="integer"> 7200 </attrib> 
            </section>
        </section>

parameters

이 섹션은 HTML 양식에 사용되는 인증 자격 증명을 설정합니다. 이 섹션은 logins 섹션 내에 또는 Login 요소 내에 지정해야 합니다. 자격 증명 매개 변수는 일반적으로 HTML 양식마다 다릅니다.

autofill 구성 매개 변수를 설정한 경우에는 브라우저에서 표시되는 변수(예: username과 password 또는 이에 해당하는 변수)만 지정합니다. 이 경우 웹 크롤러는 HTML 페이지를 검색하고 양식을 전송하는 데 필요한 "숨겨진" 변수만 읽어야 합니다. 구성 매개 변수에 지정된 변수 값은 양식에 저장된 모든 값을 무시합니다.

특성

다음 표에는 이 섹션의 attrib 요소가 나와 있습니다.

예

<section name="parameters"> 
                <attrib name="user" type="string"> username </attrib>
                <attrib name="password" type="string"> password </attrib>
                <attrib name="target" type="string"> sometarget </attrib>
            </section> 

subdomains

이 섹션은 크롤링 하위 모음의 구성을 지정합니다. subdomains 섹션은 크롤링 하위 모음을 지정하는 section XML 요소를 하나 이상 포함해야 합니다. 크롤링 하위 모음 섹션에는 name 특성을 설정하여 고유한 이름을 포함해야 합니다.

주의

subdomains 섹션 대신 SubDomain 요소를 사용할 수 있습니다.

포함/제외 규칙을 지정하여 크롤링 하위 모음의 범위를 제한해야 합니다. 이러한 포함/제외 규칙은 include_domains, exclude_domains, include_uris 및 exclude_uris입니다.

attrib에 나오는 구성 매개 변수 중 일부만 하위 섹션에 사용할 수 있습니다. 이러한 구성 매개 변수는 다음과 같습니다.

-
accept_compression

-
allowed_schemes

-
crawlmode

-
cut_off

-
delay

-
ftp_passive

-
headers

-
max_doc

-
proxy

-
refresh

-
refresh_mode

-
start_uris

-
start_uri_files

-
use_http_1_1

-
use_javascript

-
use_sitemaps

크롤링 하위 모음의 refresh 구성 매개 변수는 주 크롤링 모음의 새로 고침 빈도보다 낮게 설정해야 합니다. include_uris 또는 exclude_uris 설정을 사용하여 크롤링 하위 모음을 지정한 경우에는 use_javascript, use_sitemaps 및 max_doc 구성 매개 변수를 사용할 수 없습니다.

rss 및 variable_delay 섹션도 크롤링 하위 모음에 사용할 수 있습니다.

예

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="subcollection_example">
      <section name="subdomains">
         <section name="subdomain_1">
            <section name="include_uris">
               <attrib name="prefix" type="list-string">
                  <member> https://www.contoso.com/index </member>
               </attrib>
            </section>
            <attrib name="refresh" type="real"> 60.0 </attrib>
            <attrib name="delay" type="real"> 10.0 </attrib>
            <attrib name="start_uris" type="list-string">
               <member> https://www.contoso.com/ </member>
            </attrib>
         </section>
      </section>
</DomainSpecification>
</CrawlerConfig>

SubDomain

이 요소는 크롤링 하위 모음의 구성을 지정합니다. 크롤링 하위 모음은 크롤링 모음 구성원을 해당 정의에 따라 다른 크롤링 모음 구성원과 구별하는 개체입니다. 한 크롤링 모음에 SubDomain 요소를 여러 개 포함할 수 있습니다.

SubDomain 요소의 구성 매개 변수는 subdomains에 나와 있습니다.

SubDomain 요소는 attrib 요소와 section 요소를 포함합니다.

특성

예

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="subcollection_example">
      <SubDomain name="subdomain_1">
         <section name="include_uris">
            <attrib name="prefix" type="list-string">
               <member> https://www.contoso.com/index </member>
            </attrib>
         </section>
         <attrib name="refresh" type="real"> 60.0 </attrib>
         <attrib name="delay" type="real"> 10.0 </attrib>
         <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com/ </member>
         </attrib>
      </SubDomain>
   </DomainSpecification>
</CrawlerConfig>

Login

이 요소는 HTML 양식 기반 인증에 사용됩니다. Login 요소의 구성 매개 변수는 logins에 나와 있습니다. 한 크롤링 모음에 Login 요소를 여러 개 포함할 수 있습니다. Login 요소는 attrib 요소와 section 요소를 포함합니다.

특성

예

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="login_example">
      <Login name="mytestlogin">
         <attrib name="preload" type="string">http://preload.contoso.com/
         </attrib>
         <attrib name="scheme" type="string"> https </attrib>
         <attrib name="site" type="string"> login.contoso.com  </attrib>
         <attrib name="form" type="string"> /path/to/some/form.cgi </attrib>
         <attrib name="action" type="string">POST</attrib>
         <section name="parameters">
            <attrib name="user" type="string"> username </attrib>
            <attrib name="password" type="string"> password </attrib>
         </section>
         <attrib name="sites" type="list-string">
            <member> site1.contoso.com  </member>
            <member> site2.contoso.com  </member>
         </attrib>
         <attrib name="ttl" type="integer"> 7200 </attrib>
         <attrib name="html_form" type="string">
            http://login.contoso.com/login.html 
         </attrib>
         <attrib name="autofill" type="boolean"> yes </attrib>
         <attrib name="relogin_if_failed" type="boolean"> yes </attrib>
      </Login>
   </DomainSpecification>
</CrawlerConfig>

Node

이 요소는 특정 노드 스케줄러에 대한 크롤링 모음 또는 크롤링 하위 모음의 구성 매개 변수를 재정의하는 데 사용됩니다. Node 요소의 구성 매개 변수는 SubDomain, Login, attrib 및 section에 나와 있습니다.

Node 요소는 attrib 요소와 section 요소를 포함합니다.

특성

예

다음은 다중 노드 설치를 사용하는 예입니다. 노드 스케줄러 중 하나는 이름이 "crawler_node1"입니다. 이 예제에서는 다른 노드와는 다른 delay 구성 매개 변수를 사용하여 "crawler_node1"을 구성합니다.

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
   <DomainSpecification name="node_example ">
      <attrib name="delay" type="real"> 60.0 </attrib>
      <Node name="crawler_node1">
         <attrib name="delay" type="real"> 90.0 </attrib>
      </Node>
   </DomainSpecification>
</CrawlerConfig>

XML 스키마

웹 크롤러 구성 파일의 형식은 다음 XML 스키마를 따라야 합니다.

<?xml version="1.0" encoding="UTF-8" ?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">

  <xs:element name="CrawlerConfig" type="CT_CrawlerConfig"/>
  
  <xs:complexType name="CT_CrawlerConfig >
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="DomainSpecification" type="CT_DomainSpecification"/>
    </xs:choice>
  </xs:complexType>

  <xs:complexType name="CT_DomainSpecification">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib" maxOccurs="unbounded"/>
      <xs:element name="section" type="CT_section"/>
      <xs:element name="SubDomain" type="CT_SubDomain"/>
      <xs:element name="Login" type="CT_Login"/>
      <xs:element name="Node" type="CT_Node"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_attrib" mixed="true">
    <xs:sequence minOccurs="0" maxOccurs="unbounded">
      <xs:element name="member" type="ST_member"/>
    </xs:sequence>
    <xs:attribute name="name" type="xs:string" use="required"/>
    <xs:attribute name="type" type="ST_type" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_section">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
        <xs:element name="attrib" type="CT_attrib"/>
        <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_SubDomain">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_Login">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>

  <xs:complexType name="CT_Node">
    <xs:choice minOccurs="0" maxOccurs="unbounded">
      <xs:element name="attrib" type="CT_attrib"/>
      <xs:element name="section" type="CT_section"/>
    </xs:choice>
    <xs:attribute name="name" type="xs:string" use="required"/>
  </xs:complexType>
  
  <xs:simpleType name="ST_type">
    <xs:restriction base="xs:string">
      <xs:enumeration value="boolean"/>
      <xs:enumeration value="string"/>
      <xs:enumeration value="integer"/>
      <xs:enumeration value="list-string"/>
      <xs:enumeration value="real"/>
    </xs:restriction>
  </xs:simpleType>

  <xs:simpleType name="ST_member">
    <xs:restriction base="xs:string"></xs:restriction>
  </xs:simpleType>
</xs:schema>

단순한 구성

다음은 단순한 웹 크롤러 구성을 구성하는 예입니다. 이 예에서는 contoso.com 웹 사이트만 크롤링하도록 구성되어 있습니다.

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
    <DomainSpecification name="default_example">
        <section name="crawlmode">
            <attrib name="fwdlinks" type="boolean"> no </attrib>
            <attrib name="fwdredirects" type="boolean"> no </attrib>
            <attrib name="mode" type="string"> FULL </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>
        <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com </member>
        </attrib>
    </DomainSpecification>
</CrawlerConfig>

일반적인 구성

다음은 몇몇 일반적인 구성 매개 변수를 포함하는 크롤러 구성을 보여 주는 예입니다.

<?xml version="1.0" encoding="utf-8"?>
<CrawlerConfig>
    <DomainSpecification name="default_example">
        <attrib name="accept_compression" type="boolean"> yes </attrib>
        <attrib name="allowed_schemes" type="list-string">
            <member> http </member>
            <member> https </member>
        </attrib>
        <attrib name="allowed_types" type="list-string">
            <member> text/html </member>
            <member> text/plain </member>
        </attrib>
        <section name="cachesize">
            <attrib name="aliases" type="integer"> 1048576 </attrib>
            <attrib name="pp" type="integer"> 1048576 </attrib>
            <attrib name="pp_pending" type="integer"> 131072 </attrib>
            <attrib name="routetab" type="integer"> 1048576 </attrib>
        </section>
        <attrib name="check_meta_robots" type="boolean"> yes </attrib>
        <attrib name="cookie_timeout" type="integer"> 900 </attrib>
        <section name="crawlmode">
            <attrib name="fwdlinks" type="boolean"> yes </attrib>
            <attrib name="fwdredirects" type="boolean"> yes </attrib>
            <attrib name="mode" type="string"> FULL </attrib>
            <attrib name="reset_level" type="boolean"> no </attrib>
        </section>
        <attrib name="csum_cut_off" type="integer"> 0 </attrib>
        <attrib name="cut_off" type="integer"> 5000000 </attrib>
        <attrib name="dbswitch" type="integer"> 5 </attrib>
        <attrib name="dbswitch_delete" type="boolean"> no </attrib>
        <attrib name="delay" type="real"> 60.0 </attrib>
        <attrib name="domain_clustering" type="boolean"> no </attrib>
        <attrib name="enforce_delay_per_ip" type="boolean"> yes </attrib>
        <attrib name="exclude_exts" type="list-string">
            <member> .jpg </member>
            <member> .jpeg </member>
            <member> .ico </member>
            <member> .tif </member>
            <member> .png </member>
            <member> .bmp </member>
            <member> .gif </member>
            <member> .wmf </member>
            <member> .avi </member>
            <member> .mpg </member>
            <member> .wmv </member>
            <member> .wma </member>
            <member> .ram </member>
            <member> .asx </member>
            <member> .asf </member>
            <member> .mp3 </member>
            <member> .wav </member>
            <member> .ogg </member>
            <member> .ra </member>
            <member> .aac </member>
            <member> .m4a </member>
            <member> .zip </member>
            <member> .gz </member>
            <member> .vmarc </member>
            <member> .z </member>
            <member> .tar </member>
            <member> .iso </member>
            <member> .img </member>
            <member> .rpm </member>
            <member> .cab </member>
            <member> .rar </member>
            <member> .ace </member>
            <member> .hqx </member>
            <member> .swf </member>
            <member> .exe </member>
            <member> .java </member>
            <member> .jar </member>
            <member> .prz </member>
            <member> .wrl </member>
            <member> .midr </member>
            <member> .css </member>
            <member> .ps </member>
            <member> .ttf </member>
            <member> .mso </member>
            <member> .dvi </member>
        </attrib>
        <attrib name="extract_links_from_dupes" type="boolean"> no </attrib>
        <attrib name="fetch_timeout" type="integer"> 300 </attrib>
        <attrib name="force_mimetype_detection" type="boolean"> no </attrib>
        <section name="ftp_errors">
            <attrib name="4xx" type="string"> DELETE:3 </attrib>
            <attrib name="550" type="string"> DELETE:0 </attrib>
            <attrib name="5xx" type="string"> DELETE:3 </attrib>
            <attrib name="int" type="string"> KEEP:0 </attrib>
            <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
            <attrib name="ttl" type="string"> DELETE:3 </attrib>
        </section>
        <attrib name="headers" type="list-string">
            <member> User-Agent: FAST Enterprise Crawler 6 </member>
        </attrib>
        <attrib name="html_redir_is_redir" type="boolean"> yes </attrib>
        <attrib name="html_redir_thresh" type="integer"> 3 </attrib>
        <section name="http_errors">
            <attrib name="4xx" type="string"> DELETE:0 </attrib>
            <attrib name="5xx" type="string"> DELETE:10 </attrib>
            <attrib name="int" type="string"> KEEP:0 </attrib>
            <attrib name="net" type="string"> DELETE:3, RETRY:1 </attrib>
            <attrib name="ttl" type="string"> DELETE:3 </attrib>
        </section>
        <attrib name="if_modified_since" type="boolean"> yes </attrib>
        <attrib name="javascript_keep_html" type="boolean"> no </attrib>
        <section name="limits">
            <attrib name="disk_free" type="integer"> 0 </attrib>
            <attrib name="disk_free_slack" type="integer"> 3 </attrib>
            <attrib name="max_doc" type="integer"> 0 </attrib>
            <attrib name="max_doc_slack" type="integer"> 1000 </attrib>
        </section>
        <section name="link_extraction">
            <attrib name="a" type="boolean"> yes </attrib>
            <attrib name="action" type="boolean"> yes </attrib>
            <attrib name="area" type="boolean"> yes </attrib>
            <attrib name="card" type="boolean"> yes </attrib>
            <attrib name="comment" type="boolean"> no </attrib>
            <attrib name="embed" type="boolean"> no </attrib>
            <attrib name="frame" type="boolean"> yes </attrib>
            <attrib name="go" type="boolean"> yes </attrib>
            <attrib name="img" type="boolean"> no </attrib>
            <attrib name="layer" type="boolean"> yes </attrib>
            <attrib name="link" type="boolean"> yes </attrib>
            <attrib name="meta" type="boolean"> yes </attrib>
            <attrib name="meta_refresh" type="boolean"> yes </attrib>
        </section>
        <section name="log">
            <attrib name="dsfeed" type="string"> text </attrib>
            <attrib name="fetch" type="string"> text </attrib>
            <attrib name="postprocess" type="string"> text </attrib>
            <attrib name="site" type="string"> text </attrib>
        </section>
        <attrib name="login_failed_ignore" type="boolean"> no </attrib>
        <attrib name="login_timeout" type="integer"> 300 </attrib>
        <attrib name="max_backoff_counter" type="integer"> 50 </attrib>
        <attrib name="max_backoff_delay" type="integer"> 600 </attrib>
        <attrib name="max_doc" type="integer"> 1000000 </attrib>
        <attrib name="max_pending" type="integer"> 2 </attrib>
        <attrib name="max_redirects" type="integer"> 10 </attrib>
        <attrib name="max_reflinks" type="integer"> 0 </attrib>
        <attrib name="max_sites" type="integer"> 128 </attrib>
        <attrib name="max_uri_recursion" type="integer"> 5 </attrib>
        <attrib name="mufilter" type="integer"> 0 </attrib>
        <attrib name="near_duplicate_detection" type="boolean"> no </attrib>
        <attrib name="obey_robots_delay" type="boolean"> no </attrib>
        <section name="pp">
            <attrib name="ds_max_ecl" type="integer"> 10 </attrib>
            <attrib name="ds_meta_info" type="list-string">
                <member> duplicates </member>
                <member> redirects </member>
                <member> mirrors </member>
                <member> metadata </member>
            </attrib>
            <attrib name="ds_paused" type="boolean"> no </attrib>
            <attrib name="ds_send_links" type="boolean"> no </attrib>
            <attrib name="max_dupes" type="integer"> 10 </attrib>
            <attrib name="stripe" type="integer"> 1 </attrib>
        </section>
        <section name="ppdup">
            <attrib name="compact" type="boolean"> yes </attrib>
        </section>
        <attrib name="proxy_max_pending" type="integer"> 2147483647 </attrib>
        <attrib name="refresh" type="real"> 1440.0 </attrib>
        <attrib name="refresh_mode" type="string"> scratch </attrib>
        <attrib name="refresh_when_idle" type="boolean"> no </attrib>
        <attrib name="robots" type="boolean"> yes </attrib>
        <attrib name="robots_auth_ignore" type="boolean"> yes </attrib>
        <attrib name="robots_timeout" type="integer"> 300 </attrib>
        <attrib name="robots_tout_ignore" type="boolean"> no </attrib>
        <attrib name="robots_ttl" type="integer"> 86400 </attrib>
        <section name="rss">
            <attrib name="auto_discover" type="boolean"> no </attrib>
            <attrib name="del_expired_links" type="boolean"> no </attrib>
            <attrib name="follow_links" type="boolean"> no </attrib>
            <attrib name="ignore_rules" type="boolean"> no </attrib>
            <attrib name="index_feed" type="boolean"> no </attrib>
            <attrib name="max_link_age" type="integer"> 0 </attrib>
            <attrib name="max_link_count" type="integer"> 128 </attrib>
        </section>
        <attrib name="smfilter" type="integer"> 0 </attrib>
        <attrib name="sort_query_params" type="boolean"> no </attrib>
        <attrib name="start_uris" type="list-string">
            <member> https://www.contoso.com </member>
        </attrib>
        <section name="storage">
            <attrib name="clusters" type="integer"> 8 </attrib>
            <attrib name="compress" type="boolean"> yes </attrib>
            <attrib name="compress_exclude_mime" type="list-string">
                <member> application/x-shockwave-flash </member>
            </attrib>
            <attrib name="datastore" type="string"> bstore </attrib>
            <attrib name="defrag_threshold" type="integer"> 85 </attrib>
            <attrib name="remove_docs" type="boolean"> no </attrib>
            <attrib name="store_dupes" type="boolean"> no </attrib>
            <attrib name="store_http_header" type="boolean"> yes </attrib>
        </section>
        <attrib name="truncate" type="boolean"> no </attrib>
        <attrib name="umlogs" type="boolean"> yes </attrib>
        <attrib name="uri_search_mime" type="list-string">
            <member> text/html </member>
            <member> text/vnd.wap.wml </member>
            <member> text/wml </member>
            <member> text/x-wap.wml </member>
            <member> x-application/wml </member>
            <member> text/x-hdml </member>
        </attrib>
        <attrib name="use_cookies" type="boolean"> no </attrib>
        <attrib name="use_http_1_1" type="boolean"> yes </attrib>
        <attrib name="use_javascript" type="boolean"> no </attrib>
        <attrib name="use_meta_csum" type="boolean"> no </attrib>
        <attrib name="use_sitemaps" type="boolean"> no </attrib>
        <section name="workqueue_priority">
            <attrib name="default" type="integer"> 1 </attrib>
            <attrib name="levels" type="integer"> 1 </attrib>
            <attrib name="pop_scheme" type="string"> default </attrib>
            <attrib name="start_uri_pri" type="integer"> 1 </attrib>
        </section>
   </DomainSpecification>
</CrawlerConfig>

See Also

Reference

crawleradmin.exe 참조

Concepts

crawlerglobaldefaults.xml 참조