ディープラーニングの歴史をまとめると以下のようになります。
必ず覚えましょう。
目次
2012年 – AlexNet:
- ILSVRC（ImageNet Large Scale Visual Recognition Challenge）2012で登場。
- 初めて深層畳み込みニューラルネットワーク（CNN）を用いて画像分類タスクを大規模データセットで成功させた。
- 8層のニューラルネットワークで構成され、ReLU活性化関数、重み共有、Dropoutなどの技術を導入。
- 層の間にプーリング層があり、最終的な出力層はSoftmax関数を使用してクラス分類を行う。
2014年 – VGG:
- ILSVRC 2014で提案された。
- AlexNetの影響を受けつつも、より深いモデルを構築した。
- 畳み込み層とプーリング層を繰り返し重ねるというシンプルな構造。
- 同じサイズのカーネルを使用することでネットワークを深くするが、パラメータ数が増える問題がある。
2014年 – GoogleNet (Inception):
- ILSVRC 2014で提案された。
- Inceptionモジュールと呼ばれる異なるサイズのカーネルを組み合わせたモジュールを導入。
- 複数の畳み込み層を並列に実行し、その出力を連結することで多様な特徴を捉える。
- ネットワークが非常に深いが、効率的なパラメータの活用と計算量の軽減を図っている。
2015年 – ResNet:
- ILSVRC 2015で提案された。
- 残差ブロック（Residual Block）と呼ばれる新しいアーキテクチャを導入し、非常に深いネットワークの学習を可能にした。
- 残差ブロックは、ショートカット（スキップ接続）を通じて入力を出力に直接加算する構造。
- 層を増やすことで通常は学習が困難になるが、ResNetでは層を追加することで性能が向上する。
その後の主要なモデルとアルゴリズム:
- 2015年以降の主要なモデルやアルゴリズムは以下の通りです。
2015年 – DenseNet:
- 層ごとの出力を結合することで、特徴の再利用を強化するDense Connectivityを導入。
2015年 – Faster R-CNN:
- 物体検出アルゴリズムで、領域提案ネットワーク（RPN）を導入して高速な物体検出を実現。
2017年 – U-Net:
- セグメンテーション（画像のピクセルごとのクラス分類）のためのネットワークアーキテクチャ。
2018年 – GAN (Generative Adversarial Network):
- 生成モデルとしてGANが提案され、画像生成やスタイル変換などのタスクで成功。
2018年 – BERT (Bidirectional Encoder Representations from Transformers):
- 転移学習を強化するためのTransformerモデルを使用した自然言語処理のモデル。
2019年 – EfficientNet:
- モデルのスケーリング（幅、深さ、解像度）を最適化する手法で、計算コストと性能のトレードオフを解決。
これらは、ディープラーニングの進化の一部です。ディープラーニングの歴史では、アーキテクチャやアルゴリズムの改良が進み、大規模データセットと計算能力の向上によって、画像分類、物体検出、セグメンテーション、自然言語処理などのさまざまなタスクにおいて驚異的な成果が得られています。