目次
自己情報量とは
自己情報量（Self-Information）は、情報理論において特定の事象が起こった場合の意外性や驚きの度合いを表す指標です。
ある事象が確実に発生する場合には、その事象の自己情報量は低くなりますが、逆に予想外な事象が発生する場合には自己情報量が高くなります。
自己情報量は、確率変数(X)において特定の事象(x)が発生する場合の情報量を以下の式で計算します：
\(I(x) = -\log P(x)\)ここで、\(P(x)\)は事象(x)が起こる確率を表します。
自己情報量\(I(x)\)は常に非負であり、確率が低いほど値が大きくなります。
確率が1に近づくと自己情報量は0に近づき、確率が0に近づくと自己情報量は無限大に近づきます。
例えば、サイコロを振って1が出た場合の自己情報量を求めると、サイコロが公正な6面サイコロであれば、その確率は1/6なので、自己情報量は以下のようになります：
\(I(1) = -\log \left(\frac{1}{6}\right) \approx 2.58\)この結果から、1が出たことはかなり意外性が高い事象であることがわかります。
自己情報量は情報理論の他の概念と組み合わせて、エントロピーなどの指標を導出する際に利用されます。
エントロピー（平均情報量）とは
エントロピーは、情報の不確定性や予測の困難さを表す指標です。
情報量が高いほど、何が起こるかを予測するのが難しく、情報の多さを示します。
逆に、情報量が低い場合は、何が起こるかを比較的容易に予測できます。
エントロピーは情報理論の中心的な概念であり、データ圧縮、通信、統計などの分野で重要な役割を果たしています。
もちろん、Latex形式でエントロピーの計算式を示します。
エントロピー\(H(X)\)の一般的な計算式は以下の通りです：
\(H(X) = – \sum P(x) \log_{2}(P(x))\)ここで、\(H(X)\)は確率変数(X)のエントロピーを表し、\(\sum\)はすべての可能な値(x)についての和を取ります。
\(P(x)\)は確率質量関数で、各値(x)が発生する確率を示します。
\(\log_{2}\)は底が2の対数を意味し、計算結果は一般的にビットまたはシャノンと呼ばれる単位で表されます。
この式により、確率分布が与えられた場合のシステムの不確実性や情報量を計算することができます。
クロスエントロピーとは
クロスエントロピー（Cross Entropy）は、情報理論や機械学習などの分野で使われる概念であり、2つの確率分布間の差異を測る指標です。特に、実際の確率分布（真の分布）と予測された確率分布（モデルの出力）との間の違いを評価する際によく用いられます。
2つの確率分布を(P)と(Q)とし、それぞれの分布に対応する事象が(x)であるとします。クロスエントロピー\(H(P, Q)\)は以下のように定義されます：
\(H(P, Q) = -\sum P(x) \log Q(x)\)クロスエントロピーは、(P)と(Q)の確率分布が類似しているほど値が小さくなります。したがって、予測された確率分布(Q)が真の分布(P)に近い場合、クロスエントロピーの値は低くなります。
機械学習では、クロスエントロピーは特に分類問題におけるモデルの予測と真のラベルの違いを評価する際に使用されます。分類問題では、モデルの出力がクラスごとの確率分布として表されるため、その出力と真のラベルの間のクロスエントロピーを最小化することが、適切なモデルの学習を促進する重要な損失関数の一つとなっています。
TF-IDF
TF-IDF（Term Frequency-Inverse Document Frequency）は、情報検索や自然言語処理などの分野でテキストデータの重要度を評価するために使用される統計的な手法です。
以下にTF-IDFの要点を説明します：
- Term Frequency (TF, 単語の出現頻度):
TFは、ある文書内に特定の単語が出現する頻度を表す指標です。文書内での単語の出現回数が多いほど、その単語のTF値は高くなります。 - Inverse Document Frequency (IDF, 逆文書頻度):
IDFは、全体の文書集合において特定の単語が出現する頻度の逆数を表す指標です。全体の文書集合で頻繁に出現する単語は、そのIDF値が低くなります。 - TF-IDFの計算:
単語のTF値とIDF値を組み合わせて、TF-IDF値を計算します。ある単語のTF-IDF値は、以下のように表されます：
\(\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \text{IDF}(t)\)
ここで、(t)は単語、(d)は文書を表し、\(\text{TF}(t, d)\)は単語(t)の文書(d)内での出現頻度を、\(\text{IDF}(t)\)は単語(t)の逆文書頻度を示します。
TF-IDFは、特定の文書内で頻出し、かつ他の文書ではあまり出現しない重要な単語を特定するのに有用です。これにより、文書の特徴を捉え、文書の類似性や検索結果のランキングに利用されることがあります。また、機械学習の特徴抽出やテキストマイニングにも応用される重要な手法の一つです。