Informe de validación cruzada (Analysis Services - Minería de datos)

Al usar la ficha Validación cruzada de la vista Gráfico de precisión de minería de datos, hay dos formas de controlar la cantidad y el tipo de datos que se utilizarán durante la validación cruzada: se puede especificar el número de subconjuntos y se puede limitar el número de casos. De forma predeterminada, la validación cruzada en Business Intelligence Development Studio utiliza los casos de entrenamiento para cada modelo. Si un filtro está asociado a un modelo, se aplica dicho filtro.

El valor Recuento de plegamientos especifica el número de secciones transversales del conjunto de datos que se va a crear. Cada plegamiento se utiliza como conjunto de datos de pruebas y los datos de los plegamientos restantes se utilizan para entrenar un modelo nuevo. Por consiguiente, si utilizó el valor mínimo 2, se utilizará la mitad del conjunto de datos para probar y la otra mitad para entrenar.

Si la estructura de minería de datos no está almacenada en una instancia de Analysis Services, pero se ha creado como una estructura temporal o de sesión, el número máximo de plegamientos que puede utilizar es 10. Si la estructura de minería de datos está almacenada en una instancia de Analysis Services, no puede crear más plegamientos que casos. Si el número de casos es menor que el número que especificó para Recuento de plegamientos, se utilizará el número menor. 

El valor Máximo de casos especifica el número total de casos, en todos los pliegues, que se pueden utilizar para la validación cruzada. Por tanto, el número de casos en cualquier plegamiento determinado es igual al valor Máximo de casos dividido por el valor de Recuento de plegamientos. El valor predeterminado es 0, que significa que se utilizan todos los casos en la estructura de minería de datos.

Si realiza una validación cruzada utilizando uno de los procedimientos almacenados, deberá proporcionar los valores para las propiedades FoldCount y MaxCases como parámetros del procedimiento almacenado.

Al utilizar la ficha Validación cruzada del Diseñador de minería de datos, debe seleccionar primero la columna de predicción de la lista. Normalmente, una estructura de minería de datos puede admitir muchos modelos de minería, de los cuales no todos utilizan la misma columna de predicción. Al ejecutar una validación cruzada, sólo se podrán incluir en el informe aquellos modelos que utilicen la misma columna de predicción.

Para elegir un atributo de predicción, haga clic en Atributo de destino y seleccione la columna de la lista. Si el atributo de destino es una columna anidada o una columna de una tabla anidada, debe escribir el nombre de la columna anidada utilizando el formato <Nombre de tabla anidada>(clave).<Columna anidada>. Si la única columna utilizada de la tabla anidada es la columna de clave, puede utilizar <Nombre de tabla anidada>(clave).

Nota   Si utiliza los procedimientos almacenados, podrá ejercer más control sobre los modelos que se prueban. Para obtener más información, vea SystemGetCrossValidationResults (Analysis Services - Minería de datos).

Después de seleccionar el atributo de predicción, Analysis Services prueba todos los modelos que utilizan el mismo atributo de predicción automáticamente.

Si el atributo de destino contiene valores discretos, después de haber seleccionado la columna de predicción, puede escribir un estado de destino, en caso de que haya un valor concreto que desee predecir.

La selección del estado de destino afectará a las medidas que se devuelvan. Si especifica que un atributo de destino (es decir, un nombre de columna) no obtiene un valor concreto que el modelo deba predecir, el modelo se evaluará, de forma predeterminada, de acuerdo a su predicción del estado más probable.

Si está realizando una validación cruzada de un modelo de agrupación en clústeres, no habrá ninguna columna de predicción; en su lugar, debe seleccionar Nº de clústeres de la lista de atributos de predicción que aparecen en el cuadro de lista Atributo de destino. Después de haber seleccionado Clúster, estarán deshabilitadas el resto de opciones que no sean relevantes para los modelos de agrupación en clústeres, como por ejemplo Estado de destino. Analysis Services probará todos los modelos de agrupación en clústeres que estén asociados a la estructura de minería de datos.

Puede controlar el método estándar para medir la precisión de la predicción estableciendo un valor para el Umbral de destino. Un umbral representa un tipo de barra de precisión. A cada predicción se le asigna una probabilidad de que el valor predicho sea correcto. Por consiguiente, si establece en 1 el valor de Umbral de destino, está requiriendo que la probabilidad para cualquier predicción determinada sea bastante alta para contabilizarse como una predicción correcta. Y a la inversa, si establece Umbral de destino a un valor cercano a0, incluso las predicciones con valores de probabilidad más bajos se contarán como predicciones "buenas".

No hay ningún valor de umbral recomendado porque la probabilidad de cualquier predicción depende de sus datos y del tipo de predicción que se está realizando. Debería revisar algunas predicciones en niveles de probabilidad diferentes para determinar un rango de precisión adecuado para sus datos. Este paso es importante porque el valor que establezca para Umbral de destino influirá significativamente en la precisión medida en el modelo.

Por ejemplo, suponga que su estructura contiene tres modelos que predicen el estado de destino con probabilidades de 0,05, 0,15 y 0,8. Si establece el umbral en 0,5, sólo se tiene en cuenta una predicción como correcta. Si establece el Umbral de destino en 0,10, se tendrán en cuenta dos predicciones como correctas.

Cuando Umbral de destino se establece en null, que es el valor predeterminado, el estado más probable se utiliza como destino. En el ejemplo anteriormente citado, los tres modelos tendrían predicciones correctas. Por consiguiente, al comparar los modelos, debería considerar el umbral utilizado para cada instancia de la validación cruzada. También puede evaluar las probabilidades malas de todos los casos de un modelo determinado utilizando las medidas Probabilidad mala y Error cuadrático medio que se proporcionan en el informe de la validación cruzada.

Si realiza una validación cruzada utilizando el informe de validación cruzada de Business Intelligence Development Studio, existen algunas limitaciones en los modelos que puede probar y en los parámetros que puede establecer.

• De forma predeterminada, se realizará una validación cruzada de todos los modelos asociados a la estructura de minería de datos seleccionada. No puede especificar el modelo o una lista de modelos.

• No se admite el uso de la validación cruzada en modelos que estén basados en el algoritmo de serie temporal de Microsoft o en el algoritmo de clústeres de secuencia de Microsoft.

• No se podrá crear el informe si su estructura de minería de datos no contiene ningún modelo que pueda probar la validación cruzada.

• Si la estructura de minería de datos contiene tanto modelos de agrupación en clústeres como modelos de no agrupación en clústeres y no elige la opción Nº de clústeres, los resultados para ambos tipos de modelos se mostrarán en el mismo informe, incluso aunque el atributo, el estado y la configuración del umbral no sean adecuados para el modelo de agrupación en clústeres.

• Algunos valores de los parámetros están restringidos. Por ejemplo, se mostrará una advertencia si el número de plegamientos es superior a 10, ya que generar tantos modelos podría resultar en una visualización del informe más lenta.

Si desea especificar la configuración avanzada, debe utilizar los procedimientos almacenados de la validación cruzada. Para obtener más información, vea Procedimientos almacenados de minería de datos (Analysis Services - Minería de datos).