Microsoft ニューラル ネットワーク アルゴリズム テクニカル リファレンス

Microsoft ニューラル ネットワーク アルゴリズムを使用するデータ マイニング モデルのトレーニングには、複数の手順が必要です。これらの手順は、アルゴリズム パラメーターに対して指定した値の影響を強く受けます。

まず、アルゴリズムによってデータ ソースのトレーニング データの評価および抽出が行われます。提示されたデータと呼ばれるトレーニング データの割合は、ネットワークの精度の評価で使用するために予約されています。トレーニング処理の間、トレーニング データを反復処理するたびに、ネットワークが即座に評価されます。精度が向上しなくなると、トレーニング処理が停止します。

SAMPLE_SIZE パラメーターと HOLDOUT_PERCENTAGE パラメーターの値は、トレーニング データからサンプリングするケースの数と、提示されたデータに対して使用しないケースの数を決めるために使用します。HOLDOUT_SEED パラメーターの値は、提示されたデータに対して使用しない個々のケースをランダムに決定するために使用します。

注
これらのアルゴリズム パラメーターは、テスト データ セットを定義するためにマイニング構造に適用される HOLDOUT_SIZE プロパティおよび HOLDOUT_SEED プロパティとは異なります。

次に、マイニング モデルがサポートするネットワークの数と複雑さがアルゴリズムによって決定されます。予測のみに使用される 1 つまたは複数の属性がマイニング モデルに含まれている場合は、そのようなすべての属性を表す単一のネットワークが作成されます。入力と予測に使用される 1 つまたは複数の属性がマイニング モデルに含まれている場合は、アルゴリズム プロバイダーによって各属性のネットワークが作成されます。

不連続の値を持つ入力属性および予測可能属性の場合、各入力ニューロンまたは出力ニューロンはそれぞれ 1 つの状態を表します。連続する値を持つ入力属性および予測可能属性の場合、各入力ニューロンまたは出力ニューロンはそれぞれ属性の値の範囲および分布を表します。両方のケースでサポートされる状態の最大数は、MAXIMUM_STATES アルゴリズム パラメーターの値によって異なります。特定の属性の状態の数が MAXIMUM_STATES アルゴリズム パラメーターの値を超えている場合は、許可された状態の最大数に達するまで、その属性の最も一般的な状態または最も関連性の強い状態が選択され、残りの状態は分析の目的では不足値としてグループ化されます。

アルゴリズムでは、非表示層に対して作成するニューロンの最初の数を決定するときに HIDDEN_NODE_RATIO パラメーターの値が使用されます。HIDDEN_NODE_RATIO を 0 に設定すると、マイニング モデルに対して生成されるネットワーク内に非表示層が作成されず、ニューラル ネットワークがロジスティック回帰として扱われます。

アルゴリズム プロバイダーでは、一括学習と呼ばれる処理で、以前に予約されたトレーニング データのセットを取得し、提示されたデータ内の各ケースの実際の既知の値をネットワークの予測と比較することによって、ネットワーク内のすべての入力の重みを同時に反復的に評価します。アルゴリズムによってトレーニング データのセット全体が評価された後、各ニューロンの予測値と実際値が確認されます。アルゴリズムでは、エラーがあればエラーの程度を計算し、バックプロパゲーションと呼ばれる処理で出力ニューロンから入力ニューロンに逆方向の処理を行い、そのニューロンの入力に関連付けられた重みを調整します。次に、アルゴリズムではトレーニング データのセット全体で処理が繰り返されます。アルゴリズムでは多数の重みと出力ニューロンをサポートできるので、入力の重みの割り当ておよび評価を行うトレーニング処理の実行には、共役勾配アルゴリズムが使用されます。共役勾配アルゴリズムの詳細については、このマニュアルでは扱いません。

入力属性の数が MAXIMUM_INPUT_ATTRIBUTES パラメーターの値を上回っているか、予測可能属性の数が MAXIMUM_OUTPUT_ATTRIBUTES パラメーターの値を上回っている場合は、マイニング モデルに含まれているネットワークの複雑さを軽減するために、機能選択アルゴリズムが使用されます。機能選択によって、入力属性または予測可能属性の数が、モデルとの関連性が統計的に最も高い属性の数まで減らされます。

すべての Analysis Services データ マイニング アルゴリズムでは、分析の向上と処理負荷の削減のため、機能の選択が自動的に使用されます。ニューラル ネットワーク モデルの機能の選択に使用される方法は、属性のデータ型に応じて異なります。参考に、ニューラル ネットワーク モデルで使用される機能の選択の方法と、ニューラル ネットワーク アルゴリズムに基づくロジスティック回帰アルゴリズムで使用される機能の選択の方法を次の表に示します。

ニューラル ネットワーク モデルに対する機能の選択を制御するアルゴリズム パラメーターは、MAXIMUM_INPUT_ATTRIBUTES、MAXIMUM_OUTPUT_ATTRIBUTES、および MAXIMUM_STATES です。HIDDEN_NODE_RATIO パラメーターを設定して、非表示層の数を制御することもできます。

スコアリングは正規化の一種であり、ニュートラル ネットワーク モデルのトレーニングのコンテキストでは、不連続テキスト ラベルなどの値を、他の種類の入力との比較およびネットワーク内での重み付けを行うことができる値に変換するプロセスを意味します。たとえば、Male および Female という値をとる Gender という入力属性と、可変値をとる Income という入力属性があるとします。この場合、各属性の値を直接比較することはできません。そのため、値を共通のスケールにエンコードして、重みを計算できるようにする必要があります。スコアリングは、このような入力を数値 (特に確率範囲) に正規化するプロセスです。正規化に使用する関数は、極端な値によって分析結果が歪められることがないように、入力値を単一のスケールでより均等に分布させる場合にも役立ちます。

ニューラル ネットワークの出力もエンコードされます。出力 (予測) に使用するターゲットが 1 つだけ存在する場合、または入力用ではなく予測のみに使用するターゲットが複数存在する場合、モデルは単一のネットワークを作成するため、値を正規化する必要はないと思われるかもしれません。しかし、複数の属性が入力および予測に使用される場合、モデルは複数のネットワークを作成する必要があります。したがって、すべての値を正規化し、出力についてもネットワークからの出力時にエンコードする必要があります。

入力のエンコードは、トレーニング ケース内の各不連続値を合計した値とその重みの乗算を基にしています。これは加重和と呼ばれます。加重和は非表示層のアクティブ化関数に渡されます。次に示すように、エンコードには z スコアが使用されます。

不連続値

μ = p – the prior probability of a state

StdDev  = sqrt(p(1-p))

連続値

存在する値 = 1 - μ/σ

存在しない値 = - μ/σ

値のエンコードが完了したら、ネットワーク エッジを重みとして使用して入力を加重合計します。

出力のエンコードには、シグモイド関数が使用されます。シグモイド関数は、予測に非常に役立つ性質をいくつか備えています。このような性質の 1 つとして、元の値のスケーリング方法や値が負であるか正であるかにかかわらず、常に 0 ～ 1 の値を出力するという点が挙げられます。この性質は確率の推定に適しています。もう 1 つの有用な性質は、シグモイド関数にはスムージング効果があるため、値が変曲点から離れるにつれて、値の確率が 0 または 1 の方向へ緩やかに移動するという点です。

次の表は、Microsoft ニューラル ネットワーク アルゴリズムで使用できるパラメーターを示しています。

• HIDDEN_NODE_RATIO
  入力ニューロンおよび出力ニューロンに対する非表示ニューロンの比率を指定します。次の式で、非表示層のニューロンの最初の数を求めます。

  HIDDEN_NODE_RATIO * SQRT(入力ニューロンの総数 * 出力ニューロンの総数)

  既定値は 4.0 です。

• HOLDOUT_PERCENTAGE
  提示されたエラーの計算に使用するトレーニング データ内のケースの割合を指定します。この割合は、マイニング モデルのトレーニング中に停止条件の一部として使用されます。

  既定値は 30 です。

• HOLDOUT_SEED
  提示されたデータをランダムに調べるときに使用する擬似乱数ジェネレーターのシード値を指定します。このパラメーターを 0 に設定すると、アルゴリズムによってマイニング モデルの名前に基づいたシードが生成され、再処理中にモデルのコンテンツが変更されることはありません。

  既定値は 0 です。

• MAXIMUM_INPUT_ATTRIBUTES
  機能選択を採用する前にアルゴリズムに指定できる入力属性の最大数を設定します。この値を 0 に設定すると、入力属性に対する機能の選択が無効になります。

  既定値は 255 です。

• MAXIMUM_OUTPUT_ATTRIBUTES
  機能選択を採用する前にアルゴリズムに指定できる出力属性の最大数を設定します。この値を 0 に設定すると、出力属性に対する機能の選択が無効になります。

  既定値は 255 です。

• MAXIMUM_STATES
  アルゴリズムによってサポートされる、属性ごとの不連続状態の最大数を指定します。特定の属性の状態の数がこのパラメーターで指定した数を上回ると、アルゴリズムはその属性の最も一般的な状態を使用し、残りの状態を存在しない状態として扱います。

  既定値は 100 です。

• SAMPLE_SIZE
  モデルのトレーニングに使用するケースの数を指定します。アルゴリズムでは、この数と、HOLDOUT_PERCENTAGE パラメーターで指定されたデータに含まれないケースの総数の割合のうち、いずれか小さい方が使用されます。

  たとえば、HOLDOUT_PERCENTAGE が 30 に設定されている場合、アルゴリズムでは、このパラメーターの値と、ケースの総数の 70% に相当する値のうち、いずれか小さい方が使用されます。

  既定値は 10000 です。

Microsoft ニューラル ネットワーク アルゴリズムでは、次のモデリング フラグを使用できます。

• NOT NULL
  列に NULL を含めることはできないことを示します。モデルのトレーニング中に NULL が検出された場合はエラーが発生します。

  マイニング構造列に適用されます。

• MODEL_EXISTENCE_ONLY
  属性の値が存在するかどうかだけをモデルで考慮する必要があることを示します。正確な値かどうかは問題になりません。

  マイニング モデル列に適用されます。

Microsoft ニューラル ネットワーク アルゴリズムでは、次のディストリビューション フラグを使用できます。ディストリビューション フラグは、モデルのみへのヒントとして使用されます。アルゴリズムでは、異なる分布が検出された場合、ヒントで指定された分布ではなく、検出された分布が使用されます。

• Normal
  列内の値を、正規分布またはガウス分布を表す値として処理する必要があることを示します。

• Uniform
  列内の値を、均等に分布している値として処理する必要があることを示します。つまり、値の確率はほぼ均等で、値の合計数の関数になります。

• Log Normal
  列内の値を、対数正規曲線に従って分布している (値の対数が正規分布している) 値として処理する必要があることを示します。

Microsoft ニューラル ネットワーク アルゴリズムでは、次の表に示す特定の入力列と予測可能列がサポートされています。

注
コンテンツの種類 Cyclical および Ordered はサポートされますが、アルゴリズムはこれらを不連続の値として扱い、特別な処理は行いません。