Содержимое модели интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных)

В следующей таблице перечислены различные типы узлов, создаваемых в моделях интеллектуального анализа данных. Поскольку алгоритмы обрабатывают данные по-разному, для каждой из моделей создаются только определенные типы узлов. После смены алгоритма типы узлов также могут измениться. Кроме этого, при повторной обработке модели может измениться содержимое каждого из узлов.

Примечание
При использовании службы интеллектуального анализа, отличной от тех, что поставляются в составе служб SQL Server 2008 Analysis Services, или при создании собственных подключаемых алгоритмов могут появиться другие пользовательские типы узлов.

Корневой узел для любой модели всегда имеет уникальный идентификатор (NODE_UNIQUE_NAME) со значением 0. Идентификаторы узлов назначаются автоматически службами Analysis Services и не могут быть изменены.

Корневой узел каждой модели содержит также некоторые основные метаданные о модели. Они описывают базу данных Analysis Services, где хранится модель (MODEL_CATALOG), схему (MODEL_SCHEMA) и имя модели (MODEL_NAME). Эти сведения дублируются во всех узлах модели, поэтому для доступа к ним нет необходимости запрашивать корневой узел.

Помимо уникального идентификатора, каждый узел имеет имя (NODE_NAME). Оно создается алгоритмом автоматически для отображения и не может быть изменено.

Примечание
Алгоритм кластеризации (Майкрософт) позволяет пользователям назначать каждому из кластеров понятные имена. Однако эти имена не сохраняются на сервере, поэтому после повторной обработки модели алгоритм сформирует их заново.

Алгоритм автоматически формирует для каждого из узлов заголовок и описание, которые выполняют функцию меток, давая пользователю представление о содержимом узла. Текст, формируемый для каждого из этих полей, зависит от типа модели. В некоторых случаях имя, заголовок и описание могут содержать один и тот же текст, но в некоторых моделях описание может действительно содержать дополнительные сведения. Дополнительные сведения о реализации см. в разделе, посвященному соответствующему типу модели.

Примечание
Сервер Analysis Services поддерживает переименование узлов только в том случае, если пользовательский подключаемый алгоритм, с помощью которого была построена модель, поддерживает переименование. Эта возможность реализуется перегрузкой методов при создании подключаемого алгоритма.

Связь между родительским и дочерними узлами в древовидной структуре определяется значением столбца PARENT_UNIQUE_NAME. Это значение хранится в дочернем узле и содержит идентификатор родительского узла. Ниже приведено несколько примеров, демонстрирующих использование этих данных.

• Если PARENT_UNIQUE_NAME имеет значение NULL, то узел является корневым узлом модели.

• Если PARENT_UNIQUE_NAME имеет значение 0, то узел должен быть непосредственным потомком корневого узла модели. Это вызвано тем, что корневой узел всегда имеет идентификатор 0.

• Для поиска родителей и потомков узла можно применять функции в DMX-запросе. Дополнительные сведения об этих функциях см. в разделе Запрос моделей интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных).

Количеством элементов называют число элементов в наборе. В контексте обработанной модели интеллектуального анализа данных количество элементов указывает на число дочерних узлов, имеющихся у некоторого узла. Например, если в модели дерева принятия решений есть узел [Годовой доход], который имеет два дочерних узла — условие «[Годовой доход] = Высокий» и условие «[Годовой доход] = Низкий», — то значение CHILDREN_CARDINALITY для узла [Годовой доход] будет равно двум.

Примечание
В службах Службы Analysis Services в количество элементов включаются только непосредственные дочерние узлы. Однако при создании пользовательского подключаемого алгоритма подсчет CHILDREN_CARDINALITY можно переопределить. Например, эта возможность может оказаться полезной в тех случаях, когда необходимо подсчитать общее число потомков, а не только непосредственных дочерних узлов.

Хотя количество элементов для всех моделей подсчитывается одинаково, интерпретация этого значения зависит от типа модели. Например, в модели кластеризации количество элементов корневого узла указывает на общее число обнаруженных кластеров. В других моделях количество элементов может иметь фиксированное значение в зависимости от типа узла. Дополнительные сведения об интерпретации количества элементов см. в разделе для соответствующего типа модели.

Примечание
Некоторые модели, в частности созданные с использованием алгоритма нейронной сети (Майкрософт), включают дополнительные типы узлов, содержащие описательную статистику по обучающим данным для всей модели. Эти узлы по определению не могут иметь дочерних узлов.

Столбец NODE_DISTRIBUTION содержит вложенную таблицу, которая для многих узлов содержит подробные и важные сведения о закономерностях, выявленных алгоритмом. Точные статистические данные в этой таблице зависят от типа модели, положения узла в дереве, а также от того, является прогнозируемый атрибут непрерывным числовым или дискретным значением. Они могут включать минимальное и максимальное значение атрибута, назначенные весовые коэффициенты, количество вариантов в узле, коэффициенты, используемые в формулах регрессии, а также статистические меры (например, стандартное отклонение и дисперсия). Дополнительные сведения об интерпретации распределения узла см. в разделе, посвященном соответствующему типу модели.

Примечание
Таблица NODE_DISTRIBUTION для некоторых типов узлов может оказаться пустой. Например, некоторые узлы предназначены только для организации коллекции дочерних узлов, которые содержат подробные статистические сведения.

Вложенная таблица NODE_DISTRIBUTION всегда содержит следующие столбцы. Содержимое каждого из них зависит от типа модели. Дополнительные сведения о типах моделей см. в разделе Содержимое модели интеллектуального анализа данных по типам алгоритмов.

• ATTRIBUTE_NAME
  Содержимое зависит от алгоритма. Здесь может содержаться имя столбца, например прогнозируемый атрибут, правило, набор элементов или фрагмент внутренних данных алгоритма (например, фрагмент формулы).

  Кроме того, этот столбец может содержать пару «атрибут-значение».

• ATTRIBUTE_VALUE
  Значение атрибута, имя которого содержится в столбце ATTRIBUTE_NAME.

  Если именем атрибута является столбец, то в самом простом случае ATTRIBUTE_VALUE содержит одно из дискретных значений для этого столбца.

  В зависимости от значений, переданных алгоритмом, столбец ATTRIBUTE_VALUE может также содержать флаг, который определяет, существует ли значение для атрибута (Existing) или же оно равно значению NULL (Missing).

  Например, если модель предназначена для поиска клиентов, приобретавших определенную позицию как минимум один раз, то столбец ATTRIBUTE_NAME может содержать пару «атрибут-значение», которая определяет нужную позицию (например, Model = 'Water bottle'), а столбец ATTRIBUTE_VALUE будет содержать только ключевое слово — Existing или Missing.

• SUPPORT
  Количество вариантов, имеющих пару «значение-атрибут» либо содержащих правило или набор элементов.

  В общем случае для каждого из узлов значение несущего множества указывает число вариантов обучающего набора, включенных в текущий узел. Для большинства типов моделей несущее множество представляет точное число вариантов. Это значение позволяет просмотреть распределение данных по обучающим вариантам без запроса самих обучающих данных. Сервер Analysis Services также использует эти сохраненные значения для вычисления соотношения хранимых и априорных вероятностей, чтобы определить силу их влияния.

  Например, в дереве классификации значение несущего множества определяет число вариантов, для которых описано сочетание атрибутов.

  В дереве принятия решений сумма несущих множеств на каждом уровне дерева является суммой несущих множеств его родительского узла. Например, если модель содержит 1200 вариантов, поделенных пополам по половому признаку, а затем поровну по трем значениям дохода (низкий, средний и высокий), то для узла (2) дочерние узлы (4), (5) и (6) всегда дадут то же суммарное число вариантов, что и для узла (2).

  Идентификатор и атрибуты узла	Мощность несущего множества
  (1) Корневой узел модели	1200
  (2) Пол = Мужской (3) Пол = Женский	600 600
  (4) Пол = Мужской и Доход = Высокий (5) Пол = Мужской и Доход = Средний (6) Пол = Мужской и Доход = Низкий	200 200 200
  (7) Пол = Женский и Доход = Высокий (8) Пол = Женский и Доход = Средний (9) Пол = Женский и Доход = Низкий	200 200 200

  Для модели кластеризации число несущих множеств может быть взвешенным, включая вероятность принадлежности к нескольким кластерам. Участие в нескольких кластерах является методом кластеризации по умолчанию. Поскольку в этом случае каждый вариант не должен обязательно принадлежать одному и только одному кластеру, несущее множество для всех кластеров в этой модели может составить значение, отличное от 100%.

• PROBABILITY
  Указывает вероятность для определенного узла в пределах всей модели.

  Как правило, вероятность представляет несущее множество для конкретного значения, поделенное на общее число вариантов в узле (NODE_SUPPORT).

  Однако вероятность слегка корректируется — из нее исключается смещение, вызванное пропусками данных.

  Например, если текущими значениями атрибутов [Всего детей] являются «Один» и «Два», то следует избегать создания моделей, которые прогнозируют невозможность отсутствия детей, как и наличия трех и более детей. Чтобы убедиться, что отсутствующие значения неправдоподобны, но не невозможны, алгоритм для любого атрибута всегда добавляет к числу фактических значений единицу.

  Пример:

  Probability для [Всего детей = Один] = [Число вариантов, где Всего детей = Один] + 1/[Число всех вариантов] + 3

  Probability для [Всего детей = Два] = [Число вариантов где Всего детей = Два] + 1/[Число всех вариантов] + 3

  Примечание
  Корректировка на 3 получается добавлением единицы к общему числу существующих значений n.

  После корректировки вероятности для всех значений по-прежнему в сумме составляют 1. Вероятность для значения, для которого нет данных (в данном примере [Всего детей = «Ноль», «Три» или любое другое значение]), начинается на очень низком ненулевом уровне и медленно возрастает по мере добавления вариантов.

• VARIANCE
  Показывает дисперсию значений в пределах узла. По определению дисперсия для дискретных значений всегда равна 0. Если модель поддерживает непрерывные значения, то дисперсия вычисляется как у (сигма) от знаменателя n или числа вариантов в узле.

  Для представления стандартного отклонения (StDev) существует два общих определения. В первом методе вычисления стандартного отклонения смещение учитывается, а во втором не учитывается. В общем случае в алгоритмах интеллектуального анализа данных Майкрософт при вычислении стандартного отклонения не используют смещение.

  Значение, отображаемое в таблице NODE_DISTRIBUTION, является фактическим значением для всех дискретных и дискретизированных атрибутов или средним для непрерывных значений.

• VALUE_TYPE
  Указывает тип данных значения или атрибута и способ его использования. Определенные типы значений могут применяться только к определенным типам моделей.

  VALUE_TYPE ID	Метка значения	Имя типа значения
  1	Missing	Указывает, что в данных вариантов отсутствуют значения для этого атрибута. Состояние Missing вычисляется отдельно от атрибутов, имеющих значения.
  2	Existing	Указывает, что данные вариантов содержат значение для этого атрибута.
  3	Continuous	Указывает, что значение атрибута является непрерывным числовым значением и поэтому может быть представлено средним значением вместе с дисперсией и стандартным отклонением.
  4	Discrete	Указывает, что значение (либо числовое, либо текстовое) должно рассматриваться как дискретное. Примечание.   Дискретные значения также могут отсутствовать. Эта ситуация, однако, при вычислениях обрабатывается иначе. Дополнительные сведения см. в разделе Отсутствующие значения (службы Analysis Services — интеллектуальный анализ данных).
  5	Discretized	Указывает, что атрибут содержит дискретизированные числовые значения. Это значение представляет собой строку форматирования, которая описывает сегменты дискретизации.
  6	Existing	Указывает, что атрибут имеет непрерывные числовые значения и что эти значения представлены в данных (нет отсутствующих или выводимых значений).
  7	Coefficient	Указывает числовое значение, представляющее коэффициент. Коэффициент — это значение, которое применяется при вычислении значения зависимой переменной. Например, если модель создает формулу регрессии, которая прогнозирует доход на основе возраста, то в ней используется коэффициент, связывающий возраст и уровень дохода.
  8	Score gain	Указывает числовое значение, представляющее рост оценки для атрибута.
  9	Statistics	Указывает числовое значение, представляющее статистику для регрессора.
  10	Node unique name	Указывает, что значение должно обрабатываться не как числовое или символьное, а как уникальный идентификатор другого узла содержимого модели. Например, в модели нейронной сети идентификаторы представляют собой указатели из узлов выходного слоя на узлы скрытого слоя, а также из узлов скрытого слоя на узлы входного слоя.
  11	Intercept	Указывает числовое значение, представляющее отсекаемый отрезок в формуле регрессии.
  12	Periodicity	Указывает, что значение определяет в модели периодическую структуру. Применяется только в моделях временных рядов, в которых используется алгоритм ARIMA. Примечание Алгоритм временных рядов (Майкрософт) автоматически определяет периодические структуры на основе обучающих данных. В результате этого периодичности в конечной модели могут включать значения периодичности, которые не были заданы в качестве параметров при создании модели.
  13	Autoregressive order	Указывает, что значение представляет число авторегрессивных рядов. Применяется в моделях временных рядов, использующих алгоритм ARIMA.
  14	Moving average order	Представляет значение, которое представляет число скользящих средних в одном ряду. Применяется в моделях временных рядов, использующих алгоритм ARIMA.
  15	Difference order	Указывает, что значение определяет, сколько раз был продифференцирован ряд. Применяется в моделях временных рядов, использующих алгоритм ARIMA.
  16	Boolean	Представляет логический тип данных.
  17	Other	Представляет пользовательское значение, определяемое алгоритмом.
  18	Prerendered string	Представляет пользовательское значение, которое алгоритм возвращает в виде строки. Никакое форматирование к ней моделью не применяется.

  Типы значений наследуются от перечисления ADMOMD.NET. Дополнительные сведения см. в разделе MiningValueType.

Значение оценки узла зависит от типа модели, а также от разных узлов. Сведения о том, каким образом вычисляется столбец NODE_SCORE для каждой модели и типа узла, см. в разделе Содержимое модели интеллектуального анализа данных по типам алгоритмов.

Набор строк схемы модели интеллектуального анализа данных включает столбцы NODE_PROBABILITY и MARGINAL_PROBABILITY для всех типов моделей. Значения в этих столбцах содержатся только для тех узлов, где значение вероятности является осмысленным. Например, корневой узел модели никогда не содержит оценки вероятности.

В узлах, содержащих оценки вероятности, вероятность узла и граничная вероятность представляют разные вычисления.

• Граничная вероятность — это вероятность достижения узла из его родителя.

• Вероятность узла — это вероятность достижения узла из корневого узла.

• Вероятность узла всегда меньше или равна граничной вероятности.

Например, если база заказчиков в дереве принятия решений разделилась на две равные части по половому признаку (и при этом нет отсутствующих значений), то вероятность обоих дочерних узлов будет равна 0,5. Однако, предположим, каждый из этих узлов поделен на три равные части по уровню дохода — высокий, средний и низкий. В этом случае оценка MARGINAL_PROBABILITY для каждого узла будет равна примерно 0,33, а значение NODE_PROBABILTY будет произведением всех вероятностей, ведущих к этому узлу, и поэтому будет всегда меньше значения MARGINAL_PROBABILITY.

Набор строк схемы модели интеллектуального анализа данных включает столбцы NODE_PROBABILITY и MARGINAL_PROBABILITY для всех типов моделей. В этих столбцах хранятся XML-фрагменты, которые могут быть использованы для сериализации модели или для представления некоторой части ее структуры. Эти столбцы могут оказаться пустыми для тех узлов, где они не имеют смысла.

Предусмотрено два типа XML-правил, как и для значений вероятности. XML-фрагмент в столбце MARGINAL_RULE определяет атрибут и значение текущего узла, а XML-фрагмент в столбце NODE_RULE описывает путь до текущего узла от корневого узла модели.

В начало