読者です 読者をやめる 読者になる 読者になる

TadaoYamaokaの日記

山岡忠夫 Home で公開しているプログラムの開発ネタを中心に書いていきます。

学習アルゴリズム変更

前回の日記で、SGDでSL policy networkを学習し、学習が成功していることが確かめられた。

学習アルゴリズムSGDにしたのは、AlphaGoの論文で採用されていたからだ。

収束に非常に時間がかかるので、別の方法だともっと収束が早くならないか試してみた。
また、なぜSGDなんていう古典的な方法を使うのか疑問があったので確かめたかった。

学習アルゴリズムはMNISTサンプルで使われていたAdamにした。

前回と同様10万ミニバッチを実行して実験してみた結果が以下のグラフである。

f:id:TadaoYamaoka:20160606203530p:plain

結果、収束が早くなるどころかまったく学習できなかった。

理由はちょっとわからない。
AlphaGoの論文でSGDが採用されているのも他のアルゴリズムより有効だからかもしれない。