리프트 차트를 사용하여 정확도 테스트(기본 데이터 마이닝 자습서)
데이터 마이닝 디자이너의 마이닝 정확도 차트 탭에서는 각 모델이 얼마나 잘 예측하는지 계산할 수 있으며 각 모델의 결과를 다른 모델의 결과와 직접 비교할 수 있습니다. 이 비교 방법을 리프트 차트라고도 합니다. 일반적으로 마이닝 모델의 예측 정확도는 리프트 또는 분류 정확도를 통해 측정됩니다. 이 자습서에서는 리프트 차트만 사용합니다. 리프트 차트 및 기타 정확도 차트에 대한 자세한 내용은 모델 정확도 차트용 도구(Analysis Services - 데이터 마이닝)를 참조하십시오.
이 항목에서는 다음 태스크를 수행합니다.
입력 데이터 선택
모델, 예측 가능한 열 및 값 선택
입력 데이터 선택
마이닝 모델의 정확도를 테스트하는 첫 번째 단계는 테스트에 사용할 데이터 원본을 선택하는 것입니다. 모델이 데이터 테스트를 얼마나 잘 수행하는지 테스트한 다음 외부 데이터에 이 모델을 사용합니다.
데이터 집합을 선택하려면
SQL Server Data Tools(SSDT) 데이터 마이닝 디자이너의 마이닝 정확도 차트 탭으로 전환하고 입력 선택 탭을 선택합니다.
정확도 차트에 사용할 데이터 집합을 선택하십시오. 그룹 상자에서 마이닝 구조 테스트 사례 사용을 선택하여 마이닝 구조를 만들 때 제외한 테스트 데이터를 사용하여 모델을 테스트합니다.
다른 옵션에 대한 자세한 내용은 정확도 차트 유형 선택 및 차트 옵션 설정을 참조하십시오.
모델, 예측 가능한 열 및 값 선택
다음 단계는 리프트 차트에 포함할 모델을 선택하고 모델을 비교할 예측 가능한 열을 선택한 다음 예측할 값을 선택하는 것입니다.
[!참고]
예측 가능한 열 이름 목록의 마이닝 모델 열은 사용 유형이 Predict 또는 Predict Only로 설정되어 있고 내용 유형이 Discrete 또는 Discretized인 열로 제한됩니다.
모델의 리프트를 표시하려면
데이터 마이닝 디자이너의 입력 선택 탭에 있는 리프트 차트에 표시할 예측 가능한 마이닝 모델 열 선택에서 예측 열과 값 동기화 확인란을 선택합니다.
예측 가능한 열 이름 열에서 각 모델에 대해 Bike Buyer를 선택했는지 확인합니다.
표시 열에서 각 모델을 선택합니다.
기본적으로 마이닝 구조에 있는 모델이 모두 선택되어 있습니다. 모델을 포함하지 않을 수도 있지만 이 자습서에서는 모든 모델을 선택된 채로 둡니다.
예측 값 열에서 1을 선택합니다. 예측 가능한 해당 열이 포함된 각 모델에 대해 같은 값이 자동으로 채워집니다.
리프트 차트 탭을 선택하여 리프트 차트를 표시합니다.
이 탭을 클릭하면 마이닝 구조와 입력 테이블 또는 테스트 데이터에 대해 서버 및 데이터베이스에 대한 예측 쿼리가 실행됩니다. 결과가 그래프에 점으로 표시됩니다.
예측 값을 입력하면 리프트 차트는 임의 추측 모델과 이상적인 모델을 점으로 표시합니다. 작성한 마이닝 모델은 이러한 두 가지 극단적인 예측, 즉 임의 추측과 완벽한 예측 사이에 해당합니다. 임의 추측의 향상률은 리프트로 간주됩니다.
범례를 사용하여 이상적인 모델과 임의 추측 모델을 나타내는 색이 지정된 선을 찾습니다.
TM_Decision_Tree 모델은 가장 큰 리프트를 제공하므로 클러스터링 및 Naive Bayes 모델보다 성능이 뛰어납니다.
이 단원에서 만든 리프트 차트와 유사한 리프트 차트에 대한 세부 설명은 리프트 차트(Analysis Services - 데이터 마이닝)를 참조하십시오.