書籍「深層ニューラルネットワークの高速化」を読んだので内容をまとめる。
以下の内容は、ほとんどClaude3.5 Sonnetを使用して作成している。
目次
- 第1章 はじめに
- 第2章 高速化手法の概要
- 第3章 量子化と低精度化
- 第4章 枝刈り
- 第5章 蒸留
- 第6章 低ランク近似
- 第7章 高速なアーキテクチャ
- 第8章 チューニングのためのツール
- 第9章 効率的な訓練
- 書評
第1章 はじめに
1.1 高速化の意義
要約:
深層ニューラルネットワークの推論を高速化する意義は、ユーザー体験の向上と運用コストの削減にある。高速化の効果は三段階に分けられる。第一段階は実用可能なレベルに到達すること、第二段階は高速化がユーザー体験に直接寄与する段階、第三段階は十分高速で更なる高速化が不要な段階である。高速化は応答時間の短縮だけでなく、運用コストの削減にも貢献する。また、同じ応答時間でより大きなモデルを使用することで性能向上も可能となる。高速化の程度と性能低下のバランスを考慮することが重要であり、一般的に5倍程度の高速化であれば性能低下なしに実現可能であるとされる。
重要ポイント:
- 高速化の三段階: 実用化、ユーザー体験向上、十分な速度
- 運用コストの削減効果
- 性能向上の可能性
- 高速化と性能低下のトレードオフ
1.2 高速化の理論的背景
要約:
深層ニューラルネットワークの高速化の理論的背景は、学習後のモデルに生じる規則性や余裕を活用することにある。ランダム初期化されたモデルは大きな記憶容量を必要とするが、学習後のモデルには圧縮の余地がある。これは、学習によって生じた規則性を活用したり、不要な余裕を削ることで実現される。この考え方に基づき、様々な高速化技法が開発されている。本書では、個々の技法の説明だけでなく、それらを結ぶ理論的背景も提供することで、読者の体系的な理解を促す。これにより、原理に基づいた効果的なモデルの運用や高速化の見積もりが可能となる。
重要ポイント:
- 学習後のモデルにおける規則性と余裕の存在
- 圧縮可能性による高速化の実現
- 様々な高速化技法の根本的な共通点
- 理論的背景の理解による効果的なモデル運用
1.3 用語の整理
要約:
本節では、深層ニューラルネットワークに関連する重要な用語が整理されている。深層ニューラルネットワークは、多層のニューラルネットワークを指す。推論は学習済みモデルへの入力から出力を得るプロセス、訓練（学習）はモデルの適切なパラメータを得るプロセスを指す。レイテンシは入力から出力までの時間、スループットは単位時間あたりの処理データ数を表す。FLOPSはハードウェア性能、FLOP数は計算量を示す指標である。ランダウのオーダー記法は計算量やメモリ消費量の理論的な表現に用いられる。また、CPUとGPUの基本的な特徴と、それぞれに適した高速化技法の存在についても触れられている。
重要ポイント:
- 深層ニューラルネットワーク、推論、訓練（学習）の定義
- レイテンシとスループットの概念
- FLOPSとFLOP数の違い
- ランダウのオーダー記法（ビッグ・オー、ビッグ・オメガ、シータ記法）
- CPUとGPUの特徴と高速化技法の違い
第2章 高速化手法の概要
2.1 量子化と低精度化
要約:
量子化は浮動小数点数を整数表現に変換する技術である。低精度化はデータや演算の精度を下げる手法だ。これらの技術により、CPUやGPUでの演算速度が向上する。低精度演算器は回路が小さいため、プロセッサに多く組み込めるからだ。ただし、ハードウェアとライブラリの両方がサポートしている必要がある。また、並列度の向上が主な高速化要因なので、十分大きなモデルやバッチサイズを用いることが重要だ。一般に1倍から数十倍の高速化が見込める。実現コストは微量から中程度で、16ビット浮動小数点数への低精度化は簡単だが、積極的な量子化には特別な処理やモデルパラメータの調整が必要となる。
重要ポイント:
2.2 枝刈り
要約:
枝刈りは、モデルパラメータのうち結果に寄与しないものを削除する手法である。これにより、パラメータ行列が疎行列になり、0の要素の計算を省略できるため計算量が削減される。基本的にCPUでの推論を想定しているが、一部のGPUでも対応している。行単位や列単位で枝刈りを行う構造枝刈りという手法もあり、これはGPUでの密行列並列計算でも高速化が期待できる。一般に1倍から3倍程度の高速化が見込める。実現コストは中程度で、枝刈り後にモデルパラメータの調整が必要となる。
重要ポイント:
2.3 蒸留
要約:
蒸留は、大きくて計算の重いモデル（教師モデル）と同じ機能をもつ小さくて計算の軽いモデル（生徒モデル）を得るための技法である。基本的な方法は、教師モデルの出力を模倣するように生徒モデルを訓練することだ。これにより、計算量とメモリ使用量の両方を削減できる。高速化の上限はなく、事例によっては数十倍から数百倍の高速化も可能である。特に、元のモデルが必要以上に汎用的で、特定のタスクにのみ特化できる場合に大きな効果が見込める。実現コストは中程度から大規模で、新しいモデルの訓練やハイパーパラメータ調整が必要となる。
重要ポイント:
- 大きなモデルの機能を小さなモデルに移転
- 計算量とメモリ使用量の両方を削減
- 高速化の上限なし（数十倍から数百倍も可能）
- 特定タスクへの特化で大きな効果
- 実現コストは中程度から大規模
- 新モデルの訓練とハイパーパラメータ調整が必要
2.4 低ランク近似
要約:
低ランク近似は、行列を低ランクな行列の積で近似する手法である。これにより、行列演算の計算量を削減できる。典型的な例は、パラメータ行列を低ランク近似して計算量とメモリ消費量を削減することだが、注意行列の低ランク近似など、モデルの途中計算でも用いることができる。行列が大きいほど、またランクが小さいほど、効果は大きくなる。一般に1倍から4倍程度の高速化が見込める。実現コストは中程度で、パラメータ行列を低ランク近似する場合はモデルアーキテクチャの変更とパラメータの調整が必要となる。
重要ポイント:
- 行列を低ランクな行列の積で近似
- パラメータ行列や注意行列に適用可能
- 行列が大きく、ランクが小さいほど効果大
- 1倍から4倍程度の高速化が可能
- 実現コストは中程度
- モデルアーキテクチャの変更とパラメータ調整が必要
2.5 高速なアーキテクチャ
要約:
高速にタスクを遂行することを目指して設計されたモデルアーキテクチャを採用することで、高速化を実現できる。これらは特定の問題領域やタスクに特化して設計されることが特徴である。例えば、モバイルネットは効率的な畳み込みネットワークのアーキテクチャであり、一つの畳み込み演算を軽量な二つの畳み込み演算に分解することで高速化を実現している。また、ニューラルアーキテクチャ探索（NAS）を用いて、推論の高速化を目的としたアーキテクチャを自動設計することも可能である。高速化の上限はなく、タスク特有の構造を利用することで非常に大きな高速化を実現できる可能性がある。導入コストは軽微だが、既存のモデルを置き換える場合やNASを行う場合はコストが大きくなる可能性がある。
重要ポイント:
2.6 ハードウェアの改善
要約:
ハードウェアの改善は高速化の重要な手段である。CPUからGPUへの置き換えや、より新しいGPUへの更新で大きな高速化が実現できる。GPUのアーキテクチャは日進月歩で、新機能が追加されることで大きな高速化が期待できる場合がある。例えば、NVIDIAのアンペアアーキテクチャでは疎行列積がサポートされ、ホッパーアーキテクチャでは8ビット浮動小数点演算がサポートされた。一方で、コスト削減の観点からGPUをCPUに置き換えることも考えられる。本書で紹介する技法を用いれば、CPUでも要求される速度水準を達成できる可能性がある。
重要ポイント:
2.7 複数の技法の組み合わせ
要約:
複数の高速化技法を組み合わせることで、より大きな効果を生み出すことができる。例えば、深層圧縮は量子化と枝刈りを組み合わせた手法であり、単一の技法よりも大きな効果を生み出した。また、低ランク近似と枝刈りの組み合わせも効果的である。ただし、速度向上の効果は一般に逓減することに注意が必要である。これは高速化の技法を適用することでモデルの無駄がなくなっていくためである。複数の技法を組み合わせる場合は、効果の逓減を念頭に置き、最も成果が上がりそうな手法から順番に適用することが重要である。
重要ポイント:
- 複数の技法の組み合わせでより大きな効果
- 深層圧縮（量子化と枝刈りの組み合わせ）の例
- 低ランク近似と枝刈りの組み合わせも効果的
- 速度向上の効果は逓減する傾向
- 最も効果的な手法から順に適用することが重要
2.8 その他の技法
要約:
機械学習の技術以外にも、エンジニアリングによる高速化手法がある。入力データの縮小、バッチサイズの引き上げ、コンパイル、メモリ配列の最適化、古典的なモデルの活用、パイプラインの最適化などが挙げられる。これらの技法は導入コストが低いにもかかわらず、大きな効果を生むことがある。例えば、PyTorchのtorch.compileを使用することで、1.2倍から2倍程度の高速化が簡単に実現できる。また、古典的な決定木やサポートベクターマシンなどの手法が深層学習よりも高速に動作することもある。パイプラインの最適化では、複数のモデルを組み合わせることで、平均的な高速化や低コスト化を実現できる。これらの技法は、蒸留やハードウェアの置き換えなど、コストのかかる方法を実行する前に検討すべきである。
重要ポイント:
- 入力データの縮小
- バッチサイズの引き上げ
- コンパイル（例：PyTorchのtorch.compile）
- メモリ配列の最適化
- 古典的なモデルの活用
- パイプラインの最適化（複数モデルの組み合わせ）
- 導入コストが低く、効果が大きい場合がある
- コストの高い方法の前に検討すべき
第3章 量子化と低精度化
3.1 16ビット浮動小数点数
要約:
16ビット浮動小数点数（FP16）は、32ビット浮動小数点数（FP32）と比較して、メモリ使用量を半減させつつ、計算速度を大幅に向上させる手法である。GPUのTensorコアはFP16に最適化されており、FP32と比べて4倍以上の高速化が可能である。PyTorchでは.half()メソッドを使用するだけで、モデルのパラメータと入力データをFP16に変換できる。実験では、ResNet-50モデルをFP16に変換することで、処理時間が約半分に短縮された。ただし、バッチサイズが小さい場合は効果が限定的であり、CPUでの対応も限られているため、使用環境に注意が必要である。また、速度計測時にはウォームアップやGPUの同期を考慮する必要がある。
重要ポイント:
3.2 その他の低精度浮動小数点数フォーマット
要約:
FP16以外にも、深層学習向けに特化した低精度浮動小数点数フォーマットがある。BF16（bfloat16）はGoogle Brainが策定し、FP16よりも広いダイナミックレンジを持つ。TF32（TensorFloat-32）はNVIDIAが策定した19ビットフォーマットで、FP32の演算を内部的に高速化する。FP8はNVIDIA、Arm、Intelが共同で策定した8ビットフォーマットで、E4M3とE5M2の2種類がある。これらのフォーマットは、精度を落としつつも計算速度を向上させ、多くの深層学習タスクで十分な性能を発揮する。ただし、ハードウェアやライブラリの対応状況に注意が必要であり、適切なフォーマットを選択することが重要である。
重要ポイント:
- BF16はFP16よりも広いダイナミックレンジを持つ
- TF32は内部的にFP32演算を高速化する19ビットフォーマット
- FP8は8ビットで高速化を実現するフォーマット
- 低精度フォーマットはタスクに応じて適切に選択する必要がある
- ハードウェアやライブラリの対応状況を確認することが重要
- 多くの深層学習タスクで十分な性能を発揮する
3.3 自動混合精度計算
要約:
自動混合精度（AMP）計算は、ライブラリが自動的に演算の精度を決定する手法である。畳み込み層や線形層などの主要な演算をFP16で行い、総和や平均などの集約操作をFP32で行うことで、精度と速度のバランスを取る。PyTorchでは torch.autocast を使用することで、自動的に混合精度計算を行える。AMPは手動でFP16に変換する必要がなく、必要に応じて高精度計算に切り替えられるため、性能を保ちつつ高速化できる利点がある。ただし、完全なFP16計算と比べてわずかに遅くなる場合もあり、モデルやタスクによっては手動でFP16を使用する方が効果的な場合もある。
重要ポイント:
- AMPは自動的に演算精度を決定し、FP16とFP32を適切に使い分ける
- PyTorchではtorch.autocastで簡単に実装できる
- 手動変換が不要で、必要に応じて高精度計算を行える
- 完全なFP16計算よりもわずかに遅くなる可能性がある
- モデルやタスクによっては手動FP16の方が効果的な場合もある
- 訓練時にはGradScalerを使用して勾配のアンダーフローを防ぐ
3.4 整数量子化
要約:
整数量子化は、浮動小数点数を整数で表現することで、メモリ使用量と計算速度を改善する手法である。量子化スケールを用いて浮動小数点数を8ビット整数に変換し、逆量子化で元の値に戻す。量子化の対象はパラメータのみか活性値も含むか、追加訓練を行うかどうかで手法が分かれる。量子化スケールの決定方法や、量子化する層の選択も重要な要素となる。量子化を意識した訓練では、量子化のシミュレーションや直通推定量を用いて、量子化後の性能低下を抑える。また、確率的端数処理を用いることで、訓練時から量子化状態で学習することも可能である。整数量子化は多くのライブラリでサポートされており、適切に使用することで大幅な高速化と省メモリ化が実現できる。
重要ポイント:
3.5 1ビット量子化
要約:
1ビット量子化は、パラメータや活性値を2値（-1と1、または0と1）で表現する極端な量子化手法である。この手法の主な利点は、特別なハードウェアを使用せずに並列化が容易なことである。ビット並列計算を用いることで、通常の32ビット浮動小数点数演算と比べて大幅な高速化が可能となる。BinaryNetやXNOR-Netなどの手法では、画像認識タスクにおいて量子化なしのモデルに近い性能を達成している。ただし、大規模なデータセットでは性能低下が顕著になる場合もある。近年では、BitNetやBitNet1.5のような1ビットまたは3値の量子化を用いた大規模言語モデルも提案されており、メモリ使用量の削減とスループットの向上を実現している。1ビット量子化は、速度が最優先される場合や、エッジデバイスでのリアルタイム処理に適している。
重要ポイント:
3.6 なぜ低精度でうまくいくのか
要約:
深層ニューラルネットワークが低精度化や量子化後も高い性能を維持できる理由は、主に平坦解の存在に関連している。平坦解とは、パラメータを少し変動させても損失が大きく変化しない解のことを指す。平坦解は汎化性能が高く、タスクの本質的な構造を捉えていると考えられる。確率的勾配降下法による訓練は、次元の祝福や安定性の縁などの要因により、平坦解に到達しやすい傾向がある。また、スキップ接続を持つアーキテクチャや幅の広いモデルは、より平坦な損失地形を持ち、平坦解を見つけやすい。ただし、平坦解が常に最善とは限らず、タスクや用途によっては複雑なモデルが必要な場合もある。しかし、一般的には平坦解を用いることで、解釈性や予測性、さらには本書で紹介する圧縮手法による高速化が実現できるため、基本的には平坦解を目指すことが推奨される。
重要ポイント:
- 平坦解はパラメータの小さな変動に対して頑健である
- 平坦解は汎化性能が高く、タスクの本質的構造を捉えている
- 確率的勾配降下法は平坦解に到達しやすい
- スキップ接続や幅の広いモデルは平坦な損失地形を持つ
- 線形峰接続性は解の性質を表す指標となる
- 踏落ち現象は平坦解への到達と関連している
- 平坦解が常に最善とは限らず、タスクに応じて適切なモデルを選択する必要がある
- 基本的には平坦解を目指すことが推奨される
第4章 枝刈り
4.1 代表的な枝刈り手法
要約:
枝刈りの代表的な手法として、強度枝刈りと勾配強度積枝刈りがある。強度枝刈りは、パラメータの絶対値を枝刈りスコアとし、スコアの小さい順にパラメータを削除する。特に、反復枝刈りと組み合わせた反復強度枝刈りは高い性能を示す。勾配強度積枝刈りは、パラメータと勾配の積の絶対値をスコアとする。枝刈りには大域枝刈りと層単位枝刈りがあり、一般的に大域枝刈りの方が性能が高い。これは層によって冗長度が異なるためである。枝刈りを行う際は、重み減衰やL2正則化を用いることが効果的である。L1正則化は枝刈り直後の性能は良いが、再訓練後はL2正則化の方が高い性能を示す。
重要ポイント:
- 強度枝刈り: パラメータの絶対値をスコアとする
- 勾配強度積枝刈り: パラメータと勾配の積の絶対値をスコアとする
- 反復強度枝刈り: 反復枝刈りと強度枝刈りを組み合わせた手法
- 大域枝刈り: モデル全体でスコアの低いパラメータを削除
- 層単位枝刈り: 各層ごとに一定割合のパラメータを削除
- L2正則化: 枝刈りと組み合わせると効果的
- 再訓練: 枝刈り後の性能回復に重要
4.2 訓練前の枝刈り
要約:
訓練前の枝刈りは、モデルを訓練する前にパラメータを削除する手法である。代表的な手法として、一発ネットワーク枝刈り（SNIP）がある。これは勾配強度積枝刈りを訓練前のパラメータに適用する。操作くじ（RigL）は、ランダムに枝刈りを行ったモデルから訓練を開始し、訓練中に不要なパラメータを削除したり復活させたりする手法である。これらの手法は理論的な演算数を減らすことができるが、現状のGPUは疎な計算を効率的に処理できないため、実時間では訓練時間を短縮できない。そのため、訓練前の枝刈りの実用的な意義は限られている。
重要ポイント:
4.3 構造枝刈り
要約:
構造枝刈りは、行列の行または列を削除する手法である。これにより、GPUでも速度を向上させることができる。畳み込み層に対する構造枝刈りには、フィルタ枝刈り、チャンネル枝刈り、混合枝刈りがある。これらは、im2col操作を考えると、パラメータ行列の行や列の削除に対応する。注意層に対する構造枝刈りでは、注意ヘッド単位で枝刈りを行う。ポール・ミシェルらの研究では、マスクの感度を枝刈りスコアとして用い、機械翻訳と自然言語推論のタスクで2割から4割の注意ヘッドを削除しても性能がほとんど変わらないことを報告している。
重要ポイント:
- 構造枝刈り: 行列の行または列を削除する手法
- 畳み込み層の構造枝刈り: フィルタ枝刈り、チャンネル枝刈り、混合枝刈り
- im2col操作: 畳み込み演算を行列積で表現する方法
- 注意層の構造枝刈り: 注意ヘッド単位で枝刈りを行う
- マスクの感度: 注意ヘッドの重要度を測る指標
- 性能への影響: 適切な枝刈りでは性能低下が少ない
4.4 枝刈りの実装
要約:
枝刈りの実装には複雑な手順が必要である。PyTorchのtorch.nn.utils.pruneモジュールを使用して枝刈りを行うことができるが、PyTorch自体は枝刈り後のモデルの疎計算に対応していない。そのため、枝刈り後のモデルをONNX形式で出力し、DeepSparseなどのライブラリを利用する必要がある。枝刈りの手順には、モデルの読み込み、枝刈りの適用、再訓練（オプション）、枝刈りの永続化、ONNX形式での出力が含まれる。DeepSparseを使用することで、CPU上で枝刈りモデルを高速に実行できる。例えば、ResNet-50モデルでは、90%の枝刈りを行うことで約2.2倍の速度向上が達成できる。
重要ポイント:
- PyTorchのtorch.nn.utils.pruneモジュールで枝刈りを実装
- ONNX形式でモデルを出力
- DeepSparseなどのライブラリで疎計算を実行
- 枝刈りの手順: モデル読み込み → 枝刈り適用 → 再訓練 → 永続化 → ONNX出力
- CPU上での高速実行が可能
- ResNet-50の例: 90%枝刈りで約2.2倍の速度向上
4.5 ReLU活性化関数を用いた適応的な枝刈り
要約:
ReLU活性化関数を用いることで、適応的な枝刈りを実現できる。ReLUは負の入力を0にする特性があり、これにより構造枝刈りと同様の効果が得られる。SiLUやGELUなどの活性化関数を用いた訓練済みモデルをReLU活性化関数を用いたモデルに変換することをReLU化と呼ぶ。ReLU化には、既存の活性化関数をReLUに置き換える方法と、新たにReLUを挿入する方法がある。ReLU化により、1-2%程度の性能低下で1.5-3倍の速度向上が達成できる。さらに、Deja Vuという手法では、結果に影響を与えない箇所を予測して省略することで、より高度な適応的枝刈りを実現している。
重要ポイント:
4.6 なぜ枝刈りを行うのか・なぜうまくいくのか
要約:
枝刈りが効果的である理由は、深層ニューラルネットワークの冗長性にある。大きなモデルを訓練することで良い性能を獲得し、その後パラメータを削減することで、性能を維持しつつ効率化できる。宝くじ仮説は、ランダム初期化された密なネットワークには、元のネットワークと同等の性能を達成できる部分ネットワーク（当たりくじ）が存在するという考えである。宝くじ予想は、確率的勾配降下法が当たりくじを探し出し訓練するという学習プロセスを提案している。大規模なタスクでは、完全なランダム初期化からではなく、少し訓練を行ったパラメータから当たりくじが見つかることが示されている。
重要ポイント:
- 深層ニューラルネットワークの冗長性
- 宝くじ仮説: 当たりくじ（部分ネットワーク）の存在
- 宝くじ予想: 確率的勾配降下法による当たりくじの探索
- 大規模タスクでの宝くじ仮説の適用
- 当たりくじの頑健性: パラメータの符号情報の重要性
- 転移可能性: 異なるタスクへの当たりくじの適用
第5章 蒸留
5.1 蒸留の問題設定
要約:
蒸留は、大きなモデル（教師モデル）の知識を小さなモデル（生徒モデル）に転移する技術である。問題設定には、教師ありデータのみを使用する基本的な設定、訓練済み教師モデルと教師ありデータを使用する設定、さらに教師なしデータも活用する設定がある。教師ありデータと教師なしデータの両方を使用する中間的な設定も存在する。データの種類や利用可能性によって、適切な問題設定を選択する必要がある。画像や音声では豊富な教師なしデータが利用可能だが、テーブルデータなどでは教師なしデータの収集が困難な場合もある。このような場合、生徒モデルを用いて教師なしの蒸留用データを生成する手法も提案されている。
重要ポイント:
- 蒸留の基本的な流れ: 教師モデルの訓練→生徒モデルへの知識転移
- 問題設定の種類: 教師ありデータのみ、訓練済み教師モデル＋教師ありデータ、教師あり・教師なしデータの併用
- データの種類によって適切な問題設定を選択する必要性
- 教師なしデータの生成手法の存在
5.2 蒸留のアプローチ
要約:
蒸留には主に応答蒸留と特徴蒸留の2つのアプローチがある。応答蒸留は教師モデルの出力を模倣するよう生徒モデルを訓練する方法で、温度付きソフトマックス関数を用いて教師モデルの確率分布を生徒モデルに転移する。特徴蒸留は教師モデルの中間表現を模倣する方法で、FitNetやMiniLMなどの手法が提案されている。FitNetは射影モデルを用いて次元の異なる中間表現を比較し、MiniLMは注意行列を蒸留対象とする。これらの手法により、生徒モデルは教師モデルの豊富な知識（暗黙知）を効果的に学習できる。また、対照学習や距離学習などでは、値の関係を模倣する手法も用いられる。
重要ポイント:
- 応答蒸留: 教師モデルの出力確率分布を模倣
- 特徴蒸留: 教師モデルの中間表現を模倣
- 温度付きソフトマックス関数の使用
- FitNet: 射影モデルを用いた次元の異なる中間表現の比較
- MiniLM: 注意行列の蒸留
- 暗黙知（dark knowledge）の重要性
- 値の関係を模倣する手法の存在
5.3 生徒モデルの選び方
要約:
生徒モデルの選択は要件に応じて行う必要がある。レイテンシが重要な場合は浅くて幅広いモデルを、精度を優先する場合は深いモデルを選ぶとよい。GPUを用いる場合は浅くて幅広いモデルが有利だが、CPUでは効率の良いモデルを選ぶことでパラメータ数を削減できる。教師モデルと生徒モデルの容量差が大きすぎる場合、中間的な容量の補助モデルを用いた多段階蒸留（教師アシスタント）が有効である。生徒モデルは必ずしもパラメータ数の小さいモデルだけでなく、量子化モデルや早期停止モデルなども対象となる。これらの手法により、推論速度や精度、モデルサイズなどの要件に応じた最適な生徒モデルを得ることができる。
重要ポイント:
5.4 推論に必要なデータの変更
要約:
蒸留を用いることで、推論に必要なデータを変更し、実行速度の向上やデータ取得コストの削減が可能となる。例えば、大きなRGB画像を用いる教師モデルから、小さな白黒画像を入力とする生徒モデルへの蒸留が可能である。これにより、安価なカメラからのデータでも高精度な推論が可能となる。この手法は特権情報利用学習の一種であり、訓練時には豊富な情報を用い、テスト時には限られた情報で推論を行う。一般化蒸留と呼ばれるこのアプローチは、特権情報利用学習の有効な手法の一つである。これにより、モデルの配備コストを大幅に削減しつつ、高い性能を維持することが可能となる。
重要ポイント:
- 推論に必要なデータの変更による実行速度向上とコスト削減
- 特権情報利用学習の応用
- 一般化蒸留：教師と生徒が異なるデータを受け取る設定
- 訓練時の豊富な情報とテスト時の限られた情報の活用
- モデル配備コストの削減と性能維持の両立
5.5 生徒モデルの利用
要約:
蒸留において、教師なしデータの収集が困難な場合、生成モデルを用いて蒸留用のデータを生成することがある。この場合、生成モデルの品質は必ずしも高くなくてもよい。重要なのは教師モデルの出力関係から得られる暗黙知であり、自然な入力に対する教師モデルの出力を見ることが、良い暗黙知の伝達につながることもある。ゼロショット知識転移は、教師と生徒の出力が乖離するようなデータを意図的に生成し、このデータでの出力が一致するように生徒モデルを訓練する手法である。これにより、自然データを全く用いずに蒸留することが可能となる。これらの手法は、データ収集が困難な状況下での効果的な知識転移を可能にする。
重要ポイント:
- 生成モデルを用いた蒸留用データの生成
- 生成モデルの品質よりも教師モデルの出力関係（暗黙知）の重要性
- ゼロショット知識転移：乖離するデータを用いた蒸留
- 自然データを用いない蒸留の可能性
- データ収集が困難な状況での知識転移手法の有効性
5.6 事例：FitNet
要約:
FitNetは、浅く幅の広い教師モデルから深く幅の狭い生徒モデルへの蒸留を行う手法である。実験結果では、CIFAR-10データセットにおいて、5層900万パラメータの教師モデルから、11層2.5万パラメータのFitNet1や11層8.6万パラメータのFitNet2などの生徒モデルへの蒸留が行われた。FitNet1では1%程度の分類精度低下で13倍の速度向上を実現し、FitNet2では分類精度をさらに向上させながら、4.6倍の速度向上を達成した。これらの結果は、蒸留が速度と性能のトレードオフにおいて優れていることを示している。FitNetは中間層の特徴を合わせる特徴蒸留を行った後、応答蒸留を行う二段階の手法を用いており、これにより効果的な知識転移を実現している。
重要ポイント:
5.7 なぜ蒸留でうまくいくのか
要約:
蒸留がうまくいく理由には複数の要因がある。第一に、深層ニューラルネットワークのパラメータ過多性を活用し、大きなモデルで良い解を見つけた後に、その暗黙知で小さいモデルをガイドすることができる。第二に、訓練目標のノイズ削減効果がある。教師モデルの出力は決定的であるため、生徒モデルは矛盾に対処する必要がなく、容易に教師モデルの出力に適合できる。第三に、ソフトラベルの使用が正則化として機能する。これはラベル平滑化と類似しており、バイアスを増幅させる一方でバリアンスを低減させる効果がある。さらに、低性能の教師モデルを用いても生徒モデルの性能を向上させられることから、蒸留の利点には知識伝達以外の要素も含まれていると考えられる。
重要ポイント:
5.8 蒸留の使いどころ
要約:
蒸留は生徒モデルの規模調整により推論時間を細かく制御できる点が特徴的である。特にアンサンブルモデルの高速化に有効で、複数のモデルを一つの生徒モデルに統合できる。深層ニューラルネットワークの非凸性により、異なる初期値から学習したモデルは異なる推論方法を獲得する傾向がある。アンサンブルモデルはこれらの異なる推論方法を組み合わせることで頑健な予測を実現する。蒸留を用いることで、通常の訓練では到達困難な頑健な予測方法に対応する解空間に到達しやすくなり、単一のモデルでも高い性能を達成できる。これにより、計算コストを抑えつつ、アンサンブルモデルに匹敵する性能を持つ単一モデルを得ることが可能となる。
重要ポイント:
- 生徒モデルの規模調整による推論時間の細かい制御
- アンサンブルモデルの高速化への有効性
- 深層ニューラルネットワークの非凸性による異なる推論方法の獲得
- アンサンブルモデルによる頑健な予測の実現
- 蒸留による頑健な予測方法の学習
- 計算コストを抑えつつ高性能な単一モデルの獲得
第6章 低ランク近似
6.1 低ランク性とは
要約:
低ランク性とは、行列を低次元の行列の積で近似できる性質を指す。多くの実世界のデータや行列は、厳密には低ランクではなくても、低ランク行列で良く近似できることが多い。低ランク近似により、計算時間とメモリ消費量を大幅に削減できる。行列のランクが低いことは、その行や列ベクトルが低次元部分空間に存在することを意味する。特異値分解を用いることで、適切な近似のランクと行列分解を計算できる。データやパラメータの低ランク性は、機械学習モデルの効率化に重要な役割を果たす。
重要ポイント:
- 低ランク近似により計算時間とメモリ消費量を削減できる
- 低ランク性は行や列ベクトルの低次元部分空間への存在を意味する
- 特異値分解で適切な近似ランクと行列分解を計算可能
- データとパラメータの低ランク性は密接に関連している
- 低ランク性はモデルの効率化に重要
6.2 畳み込みニューラルネットワークの低ランク近似
要約:
畳み込み層のフィルタには低ランク構造が存在することが多く、これを利用して低ランク近似を行うことができる。空間方向の低ランク近似とフィルタ方向の低ランク近似の2つの方針がある。空間方向の低ランク近似は、フィルタの空間方向のパッチを2つの行列の積で近似する。フィルタ方向の低ランク近似は、フィルタの基底を用意し、各フィルタをその基底の重み付き和で表現する。これらの方法により、パラメータ数と計算量を大幅に削減できる。近似の方法には重み近似と出力近似があり、出力近似の方が性能は高い傾向にあるが、実装は複雑になる。
重要ポイント:
- 畳み込み層のフィルタには低ランク構造が存在することが多い
- 空間方向とフィルタ方向の2種類の低ランク近似がある
- 低ランク近似によりパラメータ数と計算量を削減できる
- 重み近似と出力近似の2つの方法がある
- 出力近似の方が性能は高いが、実装は複雑
第7章 高速なアーキテクチャ
7.1 深さ単位分離可能畳み込み
要約:
深さ単位分離可能畳み込みは、従来の畳み込み層を深さ単位の畳み込みと点単位の畳み込みに分離することで、パラメータ数と計算量を削減する手法である。この手法は、空間方向の情報集約とチャンネル方向の情報混合を分離して行うことで効率化を図る。従来の畳み込み層と比較して、パラメータ数と計算量が大幅に削減される一方で、性能の低下は最小限に抑えられる。モバイルネットやXceptionなどのモデルで採用されており、ImageNetの分類タスクにおいて、計算量を1/8に、パラメータ数を1/7に削減しながら、精度の低下を1%程度に抑えることに成功している。この手法は、モバイルデバイスなど計算資源の限られた環境での深層学習モデルの実装に特に有効である。
重要ポイント:
- 深さ単位の畳み込みと点単位の畳み込みに分離することで効率化
- パラメータ数と計算量を大幅に削減（従来の1/F + 1/K^2以下）
- 空間方向の情報集約とチャンネル方向の情報混合を分離して処理
- モバイルネットやXceptionなどのモデルで採用
- ImageNet分類タスクで計算量1/8、パラメータ数1/7に削減し、精度低下は1%程度
- 計算資源の限られた環境での実装に有効
7.2 高速なトランスフォーマー
要約:
トランスフォーマーは自然言語処理や画像認識で高い性能を示すアーキテクチャだが、注意機構の計算量が入力系列長に対して二乗時間かかるという課題がある。この問題に対して、さまざまな高速化手法が提案されている。フラッシュアテンションは、GPUのメモリ階層を活用して注意機構の厳密計算を高速かつ省メモリに実行する。線形トランスフォーマーは低次元の特徴マップを用いて類似度を定義し、計算量を線形時間に削減する。疎なトランスフォーマーは注意の対象を限定することで計算量を削減する。Reformerは局所性鋭敏型ハッシュを用いて類似度の高いクエリとキーの組み合わせのみに注意を行う。また、フーリエ変換を用いたアーキテクチャも提案されている。これらの手法により、トランスフォーマーの計算効率が大幅に向上し、より長い系列や大規模なモデルの処理が可能になっている。
重要ポイント:
7.3 ニューラルアーキテクチャ探索
要約:
ニューラルアーキテクチャ探索（NAS）は、ニューラルネットワークの最適なアーキテクチャを自動的に探索する手法である。層数、層の種類、各層の大きさ、スキップ接続の有無などの設定を探索範囲として定め、最適な組み合わせを見つけ出す。探索の効率化のために、ベイズ最適化や進化計算、勾配法などが用いられる。また、検証性能だけでなく、計算時間も考慮した目的関数を設定することで、性能と効率のバランスの取れたアーキテクチャを見つけることができる。例えばMnasNetでは、検証性能と計算時間のトレードオフを考慮した目的関数を用いて探索を行い、従来のモバイルネットv2よりも高速かつ高性能なアーキテクチャの発見に成功している。NASは人手による設計を超える効率的なアーキテクチャの発見に貢献しており、深層学習モデルの高速化に重要な役割を果たしている。
重要ポイント:
7.4 高速なアーキテクチャと圧縮手法の比較
要約:
高速なアーキテクチャと圧縮手法は、どちらも効率的な推論法則の獲得を目指すが、そのアプローチは異なる。圧縮手法は訓練後のモデルから冗長性を取り除くのに対し、高速なアーキテクチャは訓練前から効率的なモデル設計を目指す。例えば、100MBの情報を含む法則を学習する場合、通常の学習では1GBのモデルから始めて700MBの情報を持つモデルに至り、圧縮手法で10倍の容量削減を実現する。一方、高速なアーキテクチャは初めから100MBのモデルで訓練を行う。経験的に、適したアーキテクチャが利用できる場合は高速なアーキテクチャを用いる方が性能と速度のトレードオフが良いとされている。ただし、これらのアプローチは直交しており、高速なアーキテクチャを用いた後に圧縮手法を適用することで、さらなる高速化が可能である。モデル設計の自由度が高い場合は高速なアーキテクチャを選択し、必要に応じて圧縮手法を組み合わせることが効果的である。
重要ポイント:
第8章 チューニングのためのツール
8.1 PyTorch プロファイラ
要約:
PyTorch プロファイラは、深層学習モデルの実行時間のボトルネックを特定するための強力なツールである。`torch.profiler`モジュールを使用することで、PyTorchの演算とCUDAカーネルの実行時間や回数を記録できる。具体的な使用例として、ResNet-50モデルのプロファイリングが示されている。プロファイラの結果から、モデル全体の推論時間、各演算の消費時間、GPU使用率などの詳細な情報が得られる。また、Chrome trace viewerを使用することで、これらの情報を視覚的に確認することも可能である。プロファイリング結果を分析することで、モデルの最適化ポイントを特定し、効果的なチューニング戦略を立てることができる。
重要なポイント:
8.2 CPU 上のプロファイリング
要約:
CPU上でのプロファイリングには、主にIntel VTune ProfilerとPerfという2つのツールが紹介されている。Intel VTune Profilerは、PyTorchと連携して使用することができ、ボトルネックとなっている関数や並列化率、さらにはアセンブリコードレベルでの詳細な分析が可能である。これにより、使用されているSIMD命令や具体的な演算内容を確認できる。一方、Perfは Linux上で動作する軽量なパフォーマンス解析ツールであり、計算サーバー上で手軽に使用できる。両ツールとも、ボトルネックとなっている関数を特定し、その詳細を調べることができるため、効果的な最適化に役立つ。
重要なポイント:
8.3 GPU 上のプロファイリング
要約:
GPU上でのプロファイリングには、主にnvidia-smiとNVIDIA Nsightが使用される。nvidia-smiはGPUの使用率やメモリ使用量などの基本的な情報を提供する。一方、NVIDIA Nsightはより詳細な分析が可能なツール群であり、Nsight SystemsとNsight Computeが主に使用される。Nsight Systemsはシステム全体を分析し、CPUとGPUの相互作用や全体的なパフォーマンスを把握するのに適している。Nsight ComputeはGPUカーネルの詳細な実行情報やメモリアクセスパターンを分析できる。これらのツールを使用することで、GPUの利用状況やボトルネックを詳細に解析し、効果的な最適化戦略を立てることができる。
重要なポイント:
第9章 効率的な訓練
9.1 省メモリ化
要約:
深層学習モデルの訓練において、メモリ消費量は大きな課題である。モデルパラメータ、勾配、最適化アルゴリズムの状態、そして活性値の保存に多くのメモリが必要となる。GPUのメモリ容量は限られているため、この問題を解決するためにメモリ消費量を抑える手法が提案されている。代表的な手法として、パラメータ効率的ファインチューニングと勾配チェックポイントがある。これらの手法により、限られたメモリ容量でより大規模なモデルを訓練することが可能となる。メモリ消費量の削減は、訓練の効率化だけでなく、より大きなモデルの開発や、より複雑なタスクへの取り組みを可能にする重要な技術である。
重要ポイント:
9.2 モデルパラメータの算術
要約:
モデルパラメータの算術操作は、深層学習モデルの効率的な訓練と応用に新たな可能性をもたらす。モデルスープ、タスクベクトル、整合性のないモデルのマージなど、様々な手法が提案されている。これらの手法は、複数のモデルパラメータを組み合わせたり、タスクの学習を表すベクトルを操作したりすることで、新たな機能や性能向上を実現する。特に、ニューラルタンジェントカーネルの概念を用いることで、これらの操作の理論的な理解が深まる。モデルパラメータの算術は、計算量の大きな再訓練を行うことなく、モデルの機能を拡張したり、複数のタスクを統合したりする効率的な方法を提供する。この分野の進展は、深層学習モデルの柔軟性と再利用性を大きく向上させ、より効率的なモデル開発と応用を可能にする。
重要ポイント:
書評
深層ニューラルネットワークの高速化は、現代の機械学習技術の発展において極めて重要な課題である。本書で紹介されている様々な手法は、モデルの推論速度向上と計算資源の効率的利用を実現するための重要な技術的基盤を提供している。
量子化と低精度化は、モデルのパラメータや演算を低ビット表現に変換することで、メモリ使用量と計算時間を削減する。特に、16ビット浮動小数点数や8ビット整数を用いた量子化は、多くの実用的なケースで有効である。さらに、1ビット量子化のような極端な手法も、特定の用途では大きな効果を発揮する可能性がある。
枝刈りは、モデル内の重要度の低いパラメータを削除することで、モデルサイズと計算量を削減する手法である。構造的枝刈りは、行列の行や列全体を削除することで、GPUでの並列計算にも適した疎行列を生成する。
蒸留は、大規模な教師モデルの知識を小規模な生徒モデルに転移する技術であり、モデルの圧縮と高速化を同時に実現する。特に、アンサンブルモデルの知識を単一のモデルに凝縮する用途で効果的である。
低ランク近似は、行列演算を効率化する手法であり、畳み込み層や注意機構などの計算集約的な部分に適用される。この手法は、データやモデルパラメータに内在する低次元構造を利用している。
高速なアーキテクチャの設計は、モデル自体の構造を効率化することで高速化を図る。深さ単位分離可能畳み込みや効率的なトランスフォーマーアーキテクチャなどが代表例である。ニューラルアーキテクチャ探索（NAS）は、こうした効率的なアーキテクチャを自動的に発見する手法として注目されている。
これらの手法は互いに排他的ではなく、組み合わせて使用することでさらなる効果が期待できる。例えば、高速なアーキテクチャを基盤とし、そこに量子化や枝刈りを適用することで、より高度な最適化が可能となる。
効率的な訓練技術も重要である。勾配チェックポイントやパラメータ効率的ファインチューニングなどのメモリ効率化手法は、限られた計算資源でより大規模なモデルを扱うことを可能にする。また、モデルパラメータの算術操作は、複数のモデルを効率的に統合したり、タスク間の知識転移を容易にしたりする新しい可能性を開いている。
これらの高速化技術の背後には、深層ニューラルネットワークの冗長性や低ランク性、平坦解の存在など、興味深い理論的洞察が存在する。これらの性質を理解し活用することで、より効果的な高速化手法の開発が期待される。
高速化技術の発展は、深層学習モデルのより広範な応用を可能にし、エッジデバイスでのリアルタイム処理や大規模言語モデルの効率的な運用など、新たな技術革新をもたらす可能性を秘めている。今後も、ハードウェアの進化と並行して、これらのソフトウェア的な最適化技術がさらに発展していくことが予想される。
