畳み込みニューラルネットワーク(CNN)

◎ 単語

深い構造・・・局所特徴抽出、統計的特徴抽出、コーディング、プーリングをそれぞれのモジュールとして、このモジュールを多段に重ねた構造。
深層学習・・・深い構造を入力から出力まで学習する手法
ディープニューラルネットワーク・・・ニューラルネットワークを用いた深い構造。
ニューラルネットワークのパラメータ・・・ユニット間の結合重みとバイアス。
特徴マップ・・・画像の空間的特徴を活かすためにユニットが平面状に並べられるユニット群。
局所的受容野・・・上層のユニットが結合している局所領域。
畳み込み層・・・局所受容野と重み共有の特性を持つ層。

◎ 畳み込みニューラルネットワークとは

☆畳み込みニューラルネットワークとは、ディープニューラルネットワークの一種で画像認識によく利用される。

○ ニューラルネットワークとは

☆ニューラルネットワークとは、人間の脳の仕組みを模倣したネットワーク構造のことです。

人間の脳の仕組み

人間の脳は、ニューロンという、神経細胞のネットワーク構造となっています。ニューロンから他のニューロンにシグナルを伝達する接続部位のことをシナプスと言います。ニューロンはシナプスから電気や化学反応のシグナルを発信して情報を伝達します。

ニューラルネットワークでは、入力層から入った信号が様々なノードを(人工ニューロン：ニューロンに相当)伝搬して、出力層に伝わる仕組みになっています。ノードとノードを結ぶ線の接続部分がシナプスに相当します。また、接続部分ごとに重みづけをして情報伝搬のしやすさを変えることができます。

入力層と出力層の間の中間層が、隠れ層でこれが多段になったものを深層学習と言います。

○ パーセプトロンとシグモイドニューロン

☆パーセプトロンとシグモイドニューロンは、どちらも人工ニューロンです。

パーセプトロンは、1957年に考案された理論で、人間の脳をモデル化したものです。これをベースに二層のパーセプトロンである「ボルツマンマシン」が考案されましたが、その時のパーセプトロンは入出力が「0か1の2値」でした。
また、層が増えたものを、多層パーセプトロンと言います。

入出力が2値ではなく、実数になったのがシグモイドニューロンです。

○ ボルツマンマシン

☆ ボルツマシンとは、ニューラルネットワークにおいて入力層と隠れ層の二層のみのものです。

ボルツマンマシンの中でも、同一層内で情報伝達をしないものを、制限付きボルツマンマシンと言います。これは、多層化して、同一層内で情報伝達をしないことで、モデルが複雑になり過ぎるのを防ぎ、コンピュータでの行列演算処理をしやすくするためです。

○ 誤差逆伝播(Backpropagation)

☆誤差逆伝播とは、ニューラルネットワークを学習させる際に用いられるアルゴリズムです。出力層側から順に遡っていき、誤差伝搬をすることで信頼度を変更します。

◎ 画像認識のCNNの構造(VGG16)

○ 入力層

☆入力層は画像データです。

○ 畳み込み層

☆畳み込み層は、元の画像からフィルタにより特徴点を凝縮する処理です。これには以下のような特徴があります。

• 元画像にフィルタをかけて特徴マップを出力します。
• 特徴マップのサイズは元画像より少し小さくなります。(元画像のサイズとフィルタサイズに依存)
• 画像全体をフィルタがスライドするので、位置不変性があります。
• フィルタは自動生成され、学習により変わっていきます。(誤差逆伝播)
• フィルタの数だけ特徴マップが生成されます。

○ プーリング層

☆プーリング層は、特徴として重要な情報を残しながら、元の画像を縮小します。以下の特徴があります。

• 位置不変性の向上
• 回転による違いの吸収

◯ 順伝播

入力層から出力層まで戻りなく処理が行われる手法。

◯ 逆伝播

リスクを最小化するパラメータを効率よく取得するために、ネットワークと教師ベクトルの誤差を利用する手法。

○ 画像における深層ニューラルネットワーク

　画像を分類する際に入力層のユニットに画像の画素を割り当てて、ある層のあるユニットが隣の層のすべてのユニットと結合しているネットワークを利用する。しかし、この場合パレメータが膨大になり、学習するのが困難になる。
ここで画像の “近傍の画素間では強い関係性をもつが画素同士の距離が離れるにつれて関係性が弱くなる”という性質を利用してパラメータに制限をかけることで、パラメータを低減させることができる、
さらに局所特徴の重みを共有することで、パラメータ数を低減することができる。