アンサンブル学習(集団学習)

◎ 単語

分類

回帰のように具体的な数値を予測するのではなく、与えられたクラスに分ける（ラベリングする）こと

回帰

学習時に入力データと出力データから対応する規則を学び、未知の入力データに対して適切な出力結果を生成する手法。数値の予測。

ブートストラップ法

データ集合からランダムに復元抽出をM回繰り返すことにより、M組の新規データ集合を生成する手法。

◎ アンサンブル学習

☆アンサンブル学習とは、分類もしくは回帰問題において複数の予測器集合を学習し、予測結果の重み付け投票もしくは、重み付け和によりテストデータの予測を行う手法のことです。

メリット

• 複雑な決定境界の設定が可能
• 高速計算が可能
• リアルタイム性が求められる画像認識システムに利用できる

各予測器がテストデータに対して様々な値を出力する多様性が必要で、このような予測器のことを、「弱識別器(weak learner)」と言います。

◎ バギング

☆バギングとは、ブートストラップ法で、生成されたM組のデータ集合をそれぞれで予測器を学習させて、予測器の重み付投票もしくは重み付け和によりテストデータを予測する方法です。

以下は詳細なアルゴリズム説明。

◎ ブースティング

☆ブースティングとは、バギングのように各予測器を独立に学習させるのではなく、逐次学習させ、最終的に各予測器出力の投票もしくは、重み付け和で予測する手法です。逐次学習によって、独立で学習させるより予測器に多様性が生じやすくなります。

以下は詳細なアルゴリズム説明。