先日試したレイヤー融合をdlshogiのニューラルネットワークで試してみた。
dlshogiはWideResNetを採用しているので、conv->bnのレイヤー融合を適用できるのは、残差ブロックの2つ目の畳み込み層とBatchNormになる。
推論比較
レイヤー融合前後で推論時間を比較してみた。
条件
- 10ブロック、192フィルタのWideResNet
- 10万局面の推論時間
- バッチサイズ128
- GPUは1080 Ti
- 5回測定の平均
レイヤー融合前 | 12.65123224 sec |
レイヤー融合後 | 12.51427692 sec |
推論時間はレイヤー融合後で98.9%にしかならなかった。