AlexNet

  • 原論文

    • https://dl.acm.org/doi/pdf/10.1145/3065386

  • 概要

    • 画像認識がDeep Learningモデルに移行するきっかけとなったモデル。

    • 5層のCNNと3層のLinearから構成される。

    • 名前はfirst authorのAlex Krizhevskyからとられている。

    • なお、Alex KrizhevskyはCIFAR-10やCIFAR-100を作成した人物でもある。

    • 以下のような今日でも見られる主要な方法は、この時点で実施されている。

      • ReLU

      • 活性化関数後の正規化処理(LRN: Local Response Normalization)

      • Data Augmentation

      • dropout

      • GPUを利用した学習の高速化

  • アーキテクチャ図

    (出典: https://ja.wikipedia.org/wiki/AlexNet#/media/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Comparison_image_neural_networks.svg)

  • 実装例

    • pytorch公式

      • https://pytorch.org/hub/pytorch_vision_alexnet

      • ただし、LRNは実装されてないように見える。

  • 参考

    • LRNについて

      • 詳細はこちら

        • https://agirobots.com/blog-lrn-cnn/

        • 同じポジションにある近傍チャンネルの数値を使って正規化する。

PreviousLeNetNextVGGNet

Last updated