この記事は日本ディープラーニング協会(JDLA)主催のE資格(ディープラーニングエンジニアリング試験)のシラバス2022の説明です。
正式情報はこちらのサイトをご確認ください。
改訂内容も併せてご確認ください。
今後、シラバスに合わせて随時、学習記事をアップしていきます。
目次
おすすめ書籍
現行の第二版は新シラバスに対応していませんが、多くの範囲を学ぶことができます。
第三版がまちどおしいですが、現時点ではこれしか問題集がありません。
E資格ではプラットフォームとしてPytorchかTensorFlowを選択できます。
普段Pytorchを使う方はこちらでまるっと学び直すことができます。
初学者にもおすすめな本です。
PytorchとTensorFlowの選択
2022#2シラバスからPytorchとTensorFlowのどちらかを選ぶようになっています。
問題内容としてはあまり影響はないかなと思いますので、
実装経験がある方を選べばいいと思います。
応用数学
一般的な確率分布
ベルヌーイ分布 多項分布
ガウス分布
ベイズ則
情報理論
情報量
機械学習
学習アルゴリズム
教師あり学習
教師なし学習
半教師あり学習
転移学習
機械学習課題
能力、過剰適合、過少適合
次元の呪い
ハイパーパラメータ
検証集合
学習データ、検証データ、テストデータ
ホールドアウト法
k-分割交差検証法
最尤推定
条件付き対数尤度と平均二乗誤差
性能指標
ハイパーパラメータの選択
手動でのハイパーパラメータ調整
グリッドサーチ
ランダムサーチ
モデルに基づくハイパーパラメータの最適化
強化学習
方策勾配法 価値反復法
深層学習
e資格試験の中で一番比率が高かったように感じました。
しっかり復習して幅広い理解を得ましょう。
順伝播型ネットワーク
全結合型ニューラルネットワーク
損失関数:最尤推定による条件付き分布の学習
活性化関数:
シグモイド関数、Softmax関数、ReLU, Leaky ReLU、tanh
誤差逆伝播法およびその他の微分アルゴリズム
計算グラフ
微積分の連鎖率
誤差逆伝播のための連鎖律の再起的な適用
シンボル間の微分
一般的な誤差逆伝播法
深層モデルのための正則化
パラメータノルムペナルティー
L2パラメータ正則化
L1正則化
データ集合の拡張
Rnadom Flip・Erase・Crop・Contrast・Brightness・Rotate, MixUp
ノイズに対する頑健性:出力目標へのノイズ注入
マルチタスク学習
早期終了
スパース表現
バギングやその他のアンサンブル手法
ドロップアウト
深層モデルのための最適化
学習と純粋な最適化の差異 :バッチアルゴリズムとミニバッチアルゴリズム
基本的なアルゴリズム :確率的勾配降下法 モメンタム
パラメータの初期化戦略
適応的な学習率を持つアルゴリズム
AdaGrad
RMSrop
Adam
最適化戦略とメタアルゴリズム
バッチ正規化
Layer正規化
Instance正規化
教師あり事前学習
畳み込みネットワーク
畳み込み処理
プーリング
回帰結合型ニューラルネットワークと再帰的ネットワーク
回帰結合型のニューラルネットワーク
双方向 RNN
Encoder-Decoder と Sequence-to-Sequence
長期依存性の課題
ゲート付きRNN: LSTM GRU
長期依存性の最適化:勾配のクリッピング
Attention
生成モデル
識別モデルと生成モデル
オートエンコーダ:VAE、VQ-VAE
GAN:DCGAN、Conditionnal GAN
深層強化学習
深層強化学習のモデル
AlphaGo
グラフニューラルネットワーク
グラフ畳み込み
深層学習の適用方法
画像認識
GoogLeNet
ResNet,
WideResNet
DenseNet
EfficientNet
画像の局在化・検知・セグメンテーション
FasterR-CNN
YOLO
SSD
MaskR-CNN
FCOS
自然言語処理
WordEmbedding
Transformer
BERT
GPT-n
音声処理
WaveNet
サンプリング、短時間フーリエ変換、メル尺度
CTC
スタイル変換
pix2pix
距離学習(Metric Learning)
2サンプルによる比較:SiameseNet
3サンプルによる比較:TripletLoss
メタ学習(Meta Learning)
初期値の獲得:MAML
深層学習の説明性
判断根拠の可視化:Grad-CAM
モデルの近似:LIME、SHAP
開発・運用環境
ミドルウェア
深層学習ライブラリ
エッジコンピューティング
MobileNet
モデルの軽量化
プルーニング
蒸留
量子化
分散処理
モデル並列
データ並列
アクセラレータ
デバイスによる高速化:GPU
環境構築
コンテナ型仮想化:Doker