Запрос модели кластеризации (службы Analysis Services — интеллектуальный анализ данных)

Следующий запрос возвращает основные метаданные модели кластеризации TM_Clustering, созданной при выполнении заданий из учебника по основам интеллектуального анализа данных. Метаданные, доступные в родительском узле модели кластеризации, включают в себя имя модели, базу данных, где она хранится, и количество дочерних узлов модели. В этом запросе для получения метаданных из родительского узла модели применяется DMX-запрос содержимого.

SELECT MODEL_CATALOG, MODEL_NAME, NODE_CAPTION, 
NODE_SUPPORT, [CHILDREN_CARDINALITY], NODE_DESCRIPTION
FROM TM_Clustering.CONTENT
WHERE NODE_TYPE = 1

Примечание
Имя столбца CHILDREN_CARDINALITY следует заключить в квадратные скобки, чтобы отличить его от одноименного зарезервированного ключевого слова языка многомерных выражений.

Пример результатов:

Узнать, что означают эти столбцы в модели кластеризации, можно в разделе Содержимое моделей интеллектуального анализа данных для моделей кластеризации (службы Analysis Services — интеллектуальный анализ данных).

Вернуться в начало

Выполнение запроса набора строк схемы интеллектуального анализа данных позволяет получить те же сведения, которые возвращаются DMX-запросом содержимого. Однако в наборе строк схемы содержатся и дополнительные столбцы. Они содержат параметры, которые использовались при создании модели, дату и время последней обработки модели и сведения о владельце модели.

В следующем запросе возвращаются даты создания, изменения и последней обработки модели, а также параметры кластеризации, которые использовались при построении модели, и размер обучающего набора. Эти сведения полезны для документирования модели и выяснения того, какие параметры кластеризации использовались при создании существующей модели.

SELECT MODEL_NAME, DATE_CREATED, LAST_PROCESSED, PREDICTION_ENTITY, MINING_PARAMETERS 
from $system.DMSCHEMA_MINING_MODELS
WHERE MODEL_NAME = 'TM_Clustering'

Пример результатов:

Вернуться в начало

Поскольку у всех кластеров тип узла — 5, список кластеров легко получить, выбрав из содержимого модели узлы именно этого типа. Возвращенные узлы можно также фильтровать по вероятности или по мощности несущего множества, как показано в данном примере.

SELECT NODE_NAME, NODE_CAPTION ,NODE_SUPPORT, NODE_DESCRIPTION
FROM TM_Clustering.CONTENT
WHERE NODE_TYPE = 5 AND NODE_SUPPORT > 1000

Пример результатов:

Атрибуты, определяющие кластер, можно найти в двух столбцах набора строк схемы интеллектуального анализа данных.

• Столбец NODE_DESCRIPTION содержит список атрибутов с разделителями-запятыми. Обратите внимание, что для целей просмотра список атрибутов можно сократить.

• Вложенная таблица в столбце NODE_DISTRIBUTION содержит полный список атрибутов кластера. Если клиент не поддерживает иерархические наборы строк, для возврата вложенной таблицы перед списком выбираемых столбцов нужно добавить ключевое слово FLATTENED. Дополнительные сведения о ключевом слове FLATTENED см. в разделе SELECT FROM <модель>.CONTENT (расширения интеллектуального анализа данных).

Вернуться в начало

Средство просмотра кластеров отображает профиль каждого кластера со списком атрибутов и их значений. Кроме того, это средство просмотра выводит гистограмму, представляющую распределение значений для всей совокупности значений элементов модели. При просмотре модели с помощью средства просмотра кластеров, гистограмму из условных обозначений интеллектуального анализа можно легко скопировать и вставить ее в электронную таблицу Excel или документ Word. Можно также использовать панель «Характеристики кластеров» средства просмотра кластеров для наглядного сравнения атрибутов различных кластеров.

Однако, если данные для этого приходится получать из нескольких кластеров одновременно, легче создать запрос к модели. Например, при просмотре модели оказалось, что два верхних кластера различаются значениями одного атрибута — Number Cars Owned. Значит, нужно извлечь значения этого атрибута для обоих кластеров.

SELECT TOP 2 NODE_NAME, 
(SELECT ATTRIBUTE_VALUE, [PROBABILITY] FROM NODE_DISTRIBUTION WHERE ATTRIBUTE_NAME = 'Number Cars Owned')
AS t
FROM [TM_Clustering].CONTENT
WHERE NODE_TYPE = 5

Первая строка кода указывает, что требуются только два верхних кластера.

Примечание
По умолчанию кластеры сортируются по мощности несущего множества. Поэтому столбец NODE_SUPPORT можно исключить.

Вторая строка кода добавляет инструкцию подзапроса выборки, возвращающую только определенные столбцы из столбца вложенной таблицы. Кроме того, запрос выбирает только строки вложенной таблицы, связанные с целевым атрибутом Number Cars Owned. Для упрощения отображения вложенной таблице присваивается псевдоним.

Примечание
Имя столбца вложенной таблицы, PROBABILITY, следует заключить в квадратные скобки, так как его имя совпадает с именем зарезервированного ключевого слова из языка многомерных выражений. Пример результатов:

Вернуться в начало

Для простоты, вместо написания собственных запросов с помощью расширений интеллектуального анализа данных, можно вызывать системные хранимые процедуры, используемые службами Службы Analysis Services для работы с кластерами. Далее приводится пример использования внутренних хранимых процедур для возврата профиля кластера с идентификатором 002.

CALL System.Microsoft.AnalysisServices.System.DataMining.Clustering.GetClusterProfiles('TM_Clustering", '002',0.0005

Аналогично можно использовать системные хранимые процедуры для получения характеристик конкретного кластера, как показано в следующем примере.

CALL System.Microsoft.AnalysisServices.System.DataMining.Clustering.GetClusterCharacteristics('TM_Clustering", '009',0.0005

Пример результатов:

Примечание
Системные хранимые процедуры интеллектуального анализа данных предназначены для внутреннего использования. Корпорация Майкрософт оставляет за собой право изменить их в случае необходимости. Для применения в рабочей среде рекомендуется создавать запросы с помощью расширений интеллектуального анализа данных, объектов AMO или XMLA.

Вернуться в начало

Вкладка Сравнение кластеров в Средстве просмотра кластеров позволяет легко сравнивать кластеры между собой, а также варианты из кластера с вариантами, в него не вошедшими (дополнением кластера).

Однако создание запросов для возврата этих сведений — довольно сложный процесс. Может понадобиться дополнительная обработка на клиенте для хранения временных результатов и сравнение результатов нескольких запросов. Для упрощения этой задачи можно использовать системные хранимые процедуры.

Следующий запрос возвращает единственную таблицу, в которой содержатся основные отличительные признаки кластеров с идентификаторами узлов 009 и 007. Для атрибутов с положительными значениями предпочтителен кластер 009, а с отрицательными — кластер 007

CALL System.Microsoft.AnalysisServices.System.DataMining.Clustering.GetClusterDiscrimination('TM_Clustering','009','007',0.0005,true)

Пример результатов:

Эти же сведения будут представлены на диаграмме в средстве просмотра Сравнение кластеров, если выбрать кластер 9 из первого раскрывающегося списка и кластер 7 из второго. Чтобы сравнить кластер 9 с его дополнением, в качестве значения второго параметра используется пустая строка, как показано в следующем примере.

CALL System.Microsoft.AnalysisServices.System.DataMining.Clustering.GetClusterDiscrimination('TM_Clustering','009','',0.0005,true)

Примечание
Системные хранимые процедуры интеллектуального анализа данных предназначены для внутреннего использования. Корпорация Майкрософт оставляет за собой право изменить их в случае необходимости. Для применения в рабочей среде рекомендуется создавать запросы с помощью расширений интеллектуального анализа данных, объектов AMO или XMLA.

Вернуться в начало

Если в модели интеллектуального анализа данных разрешена детализация, можно создавать запросы, возвращающие подробные сведения об использованных в модели вариантах. Кроме того, если детализация разрешена в структуре интеллектуального анализа данных, с помощью функции StructureColumn (расширения интеллектуального анализа данных) можно включать в запрос столбцы базовой структуры.

В следующем примере возвращаются два столбца, которые использовались в модели, — Age и Region, и один столбец, не использовавшийся в модели, — First Name. Запрос возвращает только варианты, относящиеся к кластеру 1.

SELECT [Age], [Region], StructureColumn('First Name')
FROM [TM_Clustering].CASES
WHERE IsInNode('001')

Чтобы вернуть варианты, принадлежащие к кластеру, нужно знать его идентификатор. Идентификатор кластера можно узнать при просмотре модели с помощью средства просмотра. Чтобы к кластеру было легче обращаться, его можно переименовать, а затем обращаться к нему по имени вместо идентификатора. Однако следует помнить, что имена, присвоенные кластерам, теряются при повторной обработке модели.

Вернуться в начало

Если создаваемая модель кластеризации содержит прогнозируемый атрибут, ее можно использовать для прогноза результатов. Однако модель будет обрабатывать прогнозируемый атрибут по-разному, в зависимости от значения, определяющего использование прогнозируемого столбца, — Predict или PredictOnly. Если для использования столбца задано значение Predict, значения этого атрибута добавляются в модель кластеризации и появляются в окончательной модели в виде атрибутов. Однако если для использования столбца задано значение PredictOnly, то его значения не используются для создания кластеров. Вместо этого по завершении модели алгоритм кластеризации создает для атрибута PredictOnly новые значения на основе кластеров, к которым принадлежат варианты.

В следующем запросе в модель добавляется один новый вариант, о котором ничего не известно, кроме пола и возраста. Инструкция SELECT задает пару прогнозируемый атрибут/значение, а функция PredictProbability (расширения интеллектуального анализа данных) позволяет вычислить вероятность целевого результата для варианта с такими значениями атрибутов.

SELECT
  [TM_Clustering].[Bike Buyer], PredictProbability([Bike Buyer],1)
FROM
  [TM_Clustering]
NATURAL PREDICTION JOIN
(SELECT 40 AS [Age],
  'F' AS [Gender]) AS t

Пример результата, когда для использования установлено значение Predict:

Пример результата, когда для использования установлено значение PredictOnly, после повторной обработки модели:

В данном примере различие моделей несущественно. Однако, иногда бывает важно установить разницу между реальным распределением значений и распределением, предсказанным моделью. В этих случаях полезна функция PredictCaseLikelihood (расширения интеллектуального анализа данных), сообщающая, насколько вероятно появление данного случая в рамках данной модели.

Значение, возвращаемое функцией PredictCaseLikelihood, является вероятностью, поэтому оно всегда находится в интервале от 0 до 1. Значение 0,5 означает равновероятный результат. Поэтому значение, меньшее 0,5, означает, что прогнозируемый вариант маловероятен для данной модели, а значение, большее 0,5, — что он скорее соответствует модели, чем не соответствует.

Например, следующий запрос вернет два значения, характеризующих вероятность появления нового образца. Ненормализованное значение представляет вероятность попадания в текущую модель. При использовании ключевого слова NORMALIZED значение вероятности, возвращаемое функцией, нормализуется делением вероятности попадания в модель на вероятность непопадания.

SELECT
PredictCaseLikelihood(NORMALIZED) AS [NormalizedValue], PredictCaseLikelihood(NONNORMALIZED) AS [NonNormalizedValue]
FROM
  [TM_Clustering_PredictOnly]
NATURAL PREDICTION JOIN
(SELECT 40 AS [Age],
  'F' AS [Gender]) AS t

Пример результатов:

Обратите внимание, что для выражения результатов используется экспоненциальный формат.

Вернуться в начало

В этом примере с помощью функции Cluster (расширения интеллектуального анализа данных) определяется, к какому кластеру вероятнее всего будет принадлежать новый вариант, а с помощью функции ClusterProbability — с какой вероятностью он будет принадлежать к этому кластеру.

SELECT Cluster(), ClusterProbability()
FROM
  [TM_Clustering]
NATURAL PREDICTION JOIN
(SELECT 40 AS [Age],
  'F' AS [Gender],
  'S' AS [Marital Status]) AS t

Пример результатов:

Примечание.   По умолчанию функция ClusterProbability возвращает вероятность принадлежности к самому вероятному кластеру. Однако с помощью конструкции ClusterProbability('cluster name') можно задать другой кластер. Пользуясь этой конструкцией, имейте в виду, что работа любой прогнозирующей функции не зависит от других результатов. Поэтому вероятность, указанная во втором столбце, может относиться не к тому кластеру, который указан в первом столбце.

Вернуться в начало

В предыдущем примере вероятность была не очень высокой. Чтобы узнать, есть ли более подходящий кластер, можно с помощью функций PredictHistogram и Cluster (расширения интеллектуального анализа данных) вернуть вложенную таблицу, которая будет содержать все возможные кластеры с указанием вероятности принадлежности нового варианта к каждому из этих кластеров. Для большей наглядности иерархический набор строк можно превратить в плоскую таблицу с помощью ключевого слова FLATTENED.

SELECT FLATTENED PredictHistogram(Cluster())
From
  [TM_Clustering]
NATURAL PREDICTION JOIN
(SELECT 40 AS [Age],
  'F' AS [Gender],
  'S' AS [Marital Status])

По умолчанию результаты сортируются по вероятности. По результатам видно, что кластер 2, хоть его вероятность и не очень высока, все же наиболее подходит для новой точки данных.

Примечание.   Дополнительный столбец, $DISTANCE, показывает расстояние от точки данных до кластера. По умолчанию в алгоритме кластеризации Майкрософт применяется масштабируемая максимизация ожидания. Каждой точке данных назначается несколько кластеров, а затем они сортируются по вероятности. Однако если модель кластеризации создавалась с помощью алгоритма К-средних, то каждой точке данных можно назначить только один кластер, а запрос вернет только одну строку. Для интерпретации результатов функции PredictCaseLikelihood (расширения интеллектуального анализа данных) необходимо понимать эту разницу. Дополнительные сведения о различиях между кластеризацией с помощью масштабируемой максимизации ожидания и с помощью К-средних см. в разделе Технический справочник по алгоритму кластеризации (Майкрософт).

Вернуться в начало