Layer正規化 最適化戦略 【E資格対策】

1 min 68 views

“Layer Normalization”(Layer正規化)は、
深層学習モデルの最適化手法の一つで、ニューラルネットワークの各レイヤーごとに入力データを正規化する手法です。
バッチ正規化とは異なり、ミニバッチ内ではなく各レイヤーごとに平均と分散を計算します。
以下にLayer正規化の要点を説明します。

Layer正規化のアルゴリズムは、主に以下の手順で行われます:

各レイヤーごとの平均と分散の計算:
各レイヤーごとに、同じ位置(特徴次元)に位置するデータの平均と分散を計算します。
これにより、各レイヤー内でのデータ分布の正規化が行われます。

平均と分散の正規化:
計算された各レイヤーの平均と分散を使用して、各レイヤー内のデータを正規化します。具体的には、各特徴に対して、以下の式に基づいて正規化を行います

(\(\epsilon\)は数値安定性のための小さな値):

ここで、\(x_{ij}\)はレイヤー内のi番目のデータ、\(\mu_j\)はj番目の特徴の平均、\(\sigma_j^2\)はj番目の特徴の分散です。

スケールとシフトの適用:
正規化されたデータに対して、スケール(スケーリング係数)とシフト(シフト係数)を適用して、変換されたデータを得ます。
これにより、モデルがデータの変換を学習することが可能になります。

学習可能なパラメータの導入:
スケールとシフトのパラメータは、学習可能なパラメータとしてモデルに導入されます。
これにより、ネットワーク自体がデータの正規化と変換を最適な形で学習することができます。

Layer正規化は、バッチ正規化と比較して、ミニバッチのサイズに対する感度が低く、少ないデータでも安定して動作するとされています。
また、畳み込みニューラルネットワークや自然言語処理タスクなどで広く使用されることがあります。

関連記事