마이닝 모델의 정확도 테스트(데이터 마이닝 자습서)
대상 메일 시나리오의 마이닝 모델을 구축, 처리 및 탐색했으면 모델을 테스트하여 해당 모델이 얼마나 잘 예측을 수행하는지와 어떤 모델이 다른 모델보다 잘 수행하는지를 확인할 수 있습니다.
데이터 마이닝 디자이너의 마이닝 정확도 차트 탭에서는 각 모델이 얼마나 잘 예측하는지 계산할 수 있으며 각 모델의 결과를 다른 모델의 결과와 직접 비교할 수 있습니다. 이 비교 방법을 리프트 차트라고 할 수 있습니다. 마이닝 정확도 차트 탭에서는 원래 데이터 집합과는 구분되는 데이터인 입력 데이터를 사용하여 예측을 알려진 결과와 비교합니다. 그런 다음 비교 결과를 정렬하여 그래프에 표시합니다. 언제나 정확하게 결과를 예측하는 이론상의 모델인 이상적인 모델도 그래프에 표시됩니다. 실제 모델의 결과를 이상적인 모델의 결과와 비교하여 모델이 얼마나 잘 예측을 수행하는지 확인할 수 있습니다. 리프트 차트의 작동 방식에 대한 자세한 내용은 리프트 차트를 참조하십시오.
리프트 차트는 한 구조에서 거의 같은 모델을 구별하여 가장 적합한 예측을 제공하는 모델을 판별하는 데 유용하기 때문에 중요합니다. 마찬가지로 리프트 차트는 특정 상황에 가장 적합한 예측을 수행하는 알고리즘 유형을 보여 줍니다. 마이닝 정확도 차트 탭 사용 방법은 데이터 마이닝 모델 유효성 검사를 참조하십시오.
이 항목에서는 다음 작업을 수행합니다.
- 입력 열 매핑
- 입력 행 필터링
- 모델, 예측 가능한 열 및 값 선택
- 리프트 차트 보기
입력 열 매핑
마이닝 모델의 정확도를 테스트하는 첫 번째 단계는 마이닝 구조의 열을 입력 데이터의 열에 매핑하는 것입니다. 열 이름이 직접 매핑되면 데이터 마이닝 디자이너에서 관계를 자동으로 만듭니다.
입력 열을 마이닝 구조에 매핑하려면
데이터 마이닝 디자이너에 있는 마이닝 정확도 차트 탭의 열 매핑 탭에서 입력 테이블 선택 상자에 있는 사례 테이블 선택을 클릭합니다.
테이블 선택 대화 상자가 열립니다. 이 대화 상자에서 모델 정확도를 확인하기 위한 예측 쿼리에 사용하려는 데이터인 입력 데이터를 포함하는 테이블을 선택합니다. 이 자습서에서는 모델을 처리하는 데 사용한 것과 같은 데이터를 입력 열에 사용합니다. 그러나 입력 열은 별개의 데이터, 즉 모델을 처리하는 데 사용한 것과는 다른 데이터의 행인 것이 가장 좋습니다. 사용자는 테이블 선택 대화 상자에서 해당 데이터를 입력 열로 선택합니다.
데이터 원본 목록에서 Adventure Works DW가 선택되어 있는지 확인합니다.
테이블/뷰 이름 목록에서 vTargetMail을 선택한 다음 확인을 클릭합니다.
마이닝 구조의 열이 입력 테이블에 있는 같은 이름의 열에 자동으로 매핑됩니다.
열 매핑을 기반으로 구조에 있는 모델마다 예측 쿼리가 생성됩니다. 두 열 사이의 매핑을 삭제하려면 마이닝 구조 테이블의 열을 입력 테이블 선택 테이블의 열에 연결하는 선을 삭제한 다음 Delete 키를 누릅니다. 입력 테이블 선택의 열을 클릭하여 마이닝 구조의 해당 열에 끌어다 놓아 매핑을 수동으로 만들 수도 있습니다.
입력 행 필터링
리프트 차트 생성에 사용되는 입력 데이터 필터 아래의 표를 사용하여 입력 데이터를 필터링할 수 있습니다. 입력 테이블 선택에서 표로 열을 끌거나, 표의 열을 클릭할 때 나타나는 값 목록을 사용하여 값을 선택할 수 있습니다. 예를 들어 입력 행을 Income 열이 x보다 큰 것으로 제한하려면 원본 열에서 vTargetMail을 선택하고 필드 열에서 Income을 선택한 다음 조건/인수 열에 >x를 입력합니다.
이 자습서에서는 데이터를 필터링하지 않습니다.
모델, 예측 가능한 열 및 값 선택
다음 단계는 리프트 차트에 포함할 모델을 선택하고 모델과 비교할 예측 가능한 열을 선택하는 것입니다. 기본적으로 마이닝 구조에 있는 모델이 모두 선택되어 있습니다. 모델을 포함하지 않도록 선택할 수 있지만 이 자습서에서는 모든 모델을 선택한 채로 둡니다.
두 종류의 정확도 차트를 만들 수 있습니다. 예측 가능한 값을 선택하면 모델에서 제공하는 리프트 정도를 보여 주는 차트가 표시됩니다. 예측 가능한 값을 포함하지 않으면 차트에 모델의 정확도가 표시됩니다.
모델의 리프트를 표시하려면
리프트 차트에 표시할 예측 가능한 마이닝 모델 열 선택에서 각 모델에 대한 예측 가능한 열 이름 목록에 Bike Buyer가 선택되었는지 확인합니다.
예측 값 열에서 각 모델에 대해 1을 선택합니다.
모델의 정확도를 표시하려면
리프트 차트에 표시할 예측 가능한 마이닝 모델 열 선택에서 각 모델에 대한 예측 가능한 열 이름 목록에 Bike Buyer가 선택되었는지 확인합니다.
예측 값 열을 비워 둡니다.
예측 열과 값 동기화 확인란을 선택하면 마이닝 구조에 있는 마이닝 모델마다 예측 가능한 열이 동기화됩니다.
[!참고] 예측 가능한 열 이름 목록에 나열되는 마이닝 모델 열은 사용 유형이 Predict 또는 Predict Only로 설정된 열로 제한됩니다. 또한 열은 내용 유형이 Discrete 또는 Discretized인 마이닝 구조 열을 기반으로 해야 합니다.
일부 고급 시나리오에서 같은 마이닝 구조 열을 기반으로 하지 않지만 같은 데이터를 포함하는 두 마이닝 모델에 예측 가능한 열을 포함하는 리프트 차트를 생성하고자 할 수 있습니다. 예측 열과 값 동기화 확인란의 선택을 취소하면 유효한 모든 예측 가능한 열과 값을 선택할 수 있습니다. 결과는 합당한지 여부에 관계없이 함께 표시됩니다.
리프트 차트 보기
리프트 차트를 보려면 마이닝 정확도 차트의 리프트 차트 탭으로 전환합니다. 탭을 클릭하면 서버와 데이터베이스를 대상으로 마이닝 구조와 입력 테이블에 대한 예측 쿼리가 실행됩니다. 예측된 결과는 알려져 있는 실제 값과 비교되어 그래프에 표시됩니다. 차트 사용 방법은 리프트 차트를 참조하십시오.