Gráfico de comparação de precisão (Analysis Services - Mineração de Dados)

O gráfico a seguir mostra um gráfico de comparação de precisão relativo ao modelo Mala Direta Dirigida criado no Tutorial de mineração de dados básico. Neste gráfico, o atributo de destino é [Comprador de Bicicleta] e o valor de destino é 1, que significa que o cliente comprou uma bicicleta ou está propenso a fazer isso. Portanto, o gráfico de comparação de precisão mostra a melhoria que o modelo oferece ao identificar os clientes que estão propensos a comprar uma bicicleta.

Além do modelo básico, o gráfico inclui um modelo relacionado que foi filtrado visando clientes específicos. É possível adicionar vários modelos a um gráfico de comparação de precisão, desde que todos os modelos tenham o mesmo atributo previsível. Este filtro restringe os casos usados tanto no treinamento quanto na avaliação a clientes com menos de 30 anos de idade. Conseqüentemente, o número de casos avaliados pelo modelo é diferente para os modelos básico e filtrado. Este é um ponto importante a ser lembrado na interpretação dos resultados da previsão e de outras estatísticas.

O eixo x do gráfico representa a porcentagem do conjunto de dados de teste usada para comparar as previsões. O eixo y do gráfico representa a porcentagem de valores previstos.

A linha reta diagonal, em azul, aparece em todos os gráficos. Ela representa os resultados da previsão aleatória e é a linha de base para avaliar a precisão. Para cada modelo adicionado a um gráfico de comparação de precisão, você tem duas linhas adicionais: uma que mostra os resultados ideais para o conjunto de dados de treinamento se for possível criar um modelo que sempre faça previsões com perfeição e uma segunda linha, que mostra a precisão real, ou a melhoria nos resultados, do modelo.

Neste exemplo, a linha ideal para o modelo filtrado é mostrada em azul escuro, e a linha relativa à precisão real aparece em amarelo. Com base no gráfico, podemos afirmar que a linha ideal atinge o ponto máximo em torno dos 40%, o que significa que, se você tiver um modelo perfeito, pode atingir 100% dos clientes-alvo enviando uma mala direta para apenas 40% da população total. A precisão real referente ao modelo filtrado quando você visa 40% da população fica entre 60% e 70%, o que significa que é possível atingir 60-70% dos clientes-alvo enviando a mala direta para 40% da população total de clientes.

A Legenda de Mineração contém os valores reais em qualquer ponto das curvas. Você pode alterar o lugar que é medido clicando na barra vertical cinza para movê-la. No gráfico, a linha cinza foi movida até 30% porque esse é o ponto em que tanto o modelo filtrado quanto o não filtrado parecem ser mais eficientes, e após esse ponto o valor da precisão diminui.

A Legenda de Mineração também mostra pontuações e estatísticas que ajudam a interpretar o gráfico. Esses resultados representam a precisão do modelo na linha cinza, que neste cenário está posicionada para incluir 30% dos testes de caso gerais.

Com base nesses resultados, podemos observar que, quando avaliado em 30% de todos os casos, o modelo geral (Mala direta dirigida – todos) pode prever o comportamento de compra de bicicleta de 47,40% da população de destino. Em outras palavras, se você enviar uma mala direta direcionada para apenas 30% dos clientes do seu banco de dados, poderá atingir um pouco menos da metade do público-alvo. Se usasse o modelo filtrado, poderia atingir aproximadamente 51% de seus clientes-alvo.

O valor de Probabilidade da previsão representa o limite necessário para incluir um cliente entre os casos "propenso a comprar". Para cada caso, o modelo estima a precisão de cada previsão e armazena esse valor, que você pode usar para filtrar os clientes ou definir os clientes-alvo. Por exemplo, para identificar os clientes do modelo básico que são possíveis compradores, use uma consulta que recupere os casos com um valor de Probabilidade da previsão de, pelo menos, 61%. Para definir os clientes-alvo pelo modelo filtrado, crie uma consulta que recupere os casos que atendem a todos os critérios: idade e um valor de PredictProbability de, pelo menos, 46%.

É interessante comparar os modelos. O modelo filtrado parece capturar mais clientes potenciais, mas quando você visa clientes com uma pontuação de probabilidade de previsão de 46%, também tem 53% de probabilidade de enviar uma mala direta para alguém que não comprará uma bicicleta. Portanto, para decidir qual é o melhor modelo, procure contrabalançar a maior precisão e o menor tamanho de destino do modelo filtrado com base na seletividade do modelo básico.

O valor de Pontuação ajuda a comparar os modelos calculando a eficácia do modelo em uma população normalizada. Uma pontuação maior é melhor, por isso nesse caso você deve decidir que visar clientes com menos de 30 anos é a estratégia mais eficaz, apesar da probabilidade de previsão mais baixa.

Se você não especificar o estado da coluna previsível, criará o tipo de gráfico mostrado no diagrama a seguir. Este gráfico mostra o desempenho do modelo para todos os estados do atributo previsível. Por exemplo, ele informa com que precisão o modelo prevê tanto os clientes que estão propensos a comprar uma bicicleta quanto aqueles que provavelmente não comprarão uma.

O eixo x é o mesmo do gráfico com a coluna previsível especificada, mas agora o eixo y representa a porcentagem de previsões corretas. Portanto, a linha ideal é a diagonal, que mostra que em 50% dos dados o modelo prevê corretamente 50% dos casos, o valor máximo que se pode esperar.

Você pode clicar no gráfico para mover a barra vertical cinza, e a Legenda de Mineração exibe a porcentagem de casos no geral e a porcentagem dos casos previstos corretamente. Por exemplo, se você posicionar a barra deslizante cinza na marca dos 50%, a Legenda de Mineração exibirá as pontuações de precisão listadas a seguir. Estes números têm como base o modelo TM_Decision Tree criado no Tutorial Básico de Mineração de Dados.

Essa tabela mostra que, em 50% da população, o modelo que você criou prevê corretamente 40% dos casos. Você deve considerar esse modelo razoavelmente preciso. No entanto, lembre-se de que esse modelo específico prevê todos os valores do atributo previsível. Por isso, o modelo pode ser preciso ao prever que 90% dos clientes não comprarão uma bicicleta.

Observação
A exatidão de previsão de todos os valores distintos do atributo previsível é mostrada em uma única linha. Para ver as linhas de exatidão de previsão de qualquer valor individual do atributo previsível, crie um gráfico de comparação de precisão à parte para esse valor.

Voltar ao início

O Tutorial Básico de Mineração de Dados inclui um passo a passo sobre como criar um gráfico de comparação de precisão para o modelo Mala Direta Dirigida. Para obter mais informações, consulte Testando a precisão com gráficos de comparação de precisão (Tutorial de mineração de dados básico).

Para ver o procedimento passo a passo que se aplica a todos os tipos de gráficos, consulte Como criar um gráfico de precisão para um modelo de mineração.