TadaoYamaokaの日記

山岡忠夫Homeで公開しているプログラムの開発ネタを中心に書いていきます。

2021-02-20から1日間の記事一覧

将棋AIの実験ノート:Normalizer-Free Networks

ちょうどFixup Initializationを試したタイミングで、DeepMindからBatch Normalizerを削除してSOTAを達成したという論文が発表された。Introducing NFNets, a family of image classification models that are:*SOTA on ImageNet (86.5% top-1 w/o extra dat…