TadaoYamaokaの開発日記

個人開発しているスマホアプリや将棋AIの開発ネタを中心に書いていきます。

【dlshogi】ラージカーネルの効果 その4(位置情報 続き)

前回、Ryfamateと同様の9x1と1x9カーネルを並列にしたブロックは、位置情報が失われているという仮説を立てて、1x1カーネルを加えることで精度を向上できるか検証した。

結果、精度が上がることが確かめられたが、単にパラメータ数が増えた効果なのか、位置情報が保持されたためか判断できないため、今回は追加の検証を実施する。

検証方法

3x3カーネルのブロックを、置き換える数を増やすことで、精度が下がる場合、位置情報が失われている蓋然性が高くなる。
逆に、精度が上がる場合は、位置情報が保持された上で、離れた画素間の関連の情報を捉えられていると言えそうである。

以下の条件で比較した。

  1. 4ブロック間隔で、Ryfamateと同様の9x1と1x9カーネルを並列にしたブロック(置き換えられる数:5)
  2. 5ブロック間隔で、Ryfamateと同様の9x1と1x9カーネルを並列にしたブロック(置き換えられる数:4)
  3. 6ブロック間隔で、Ryfamateと同様の9x1と1x9カーネルを並列にしたブロック(置き換えられる数:3)
  4. 5ブロック間隔、15ブロック未満で、Ryfamateと同様の9x1と1x9カーネルを並列にしたブロック(置き換えられる数:3)
  5. 4ブロック間隔で、9x1と1x9と1x1カーネルを並列にしたブロック(置き換えられる数:5)
  6. 5ブロック間隔で、9x1と1x9と1x1カーネルを並列にしたブロック(置き換えられる数:4)
  7. 6ブロック間隔で、9x1と1x9と1x1カーネルを並列にしたブロック(置き換えられる数:3)
  8. 5ブロック間隔、15ブロック未満で、9x1と1x9と1x1カーネルを並列にしたブロック(置き換えられる数:3)

条件4と8の、15ブロック未満という条件は、置き換える位置による違いを検証するために加えている。

訓練と評価の条件は、前回までと同じである。

結果

方策損失

価値損失

方策正解率

価値正解率


考察

Ryfamateと同様の9x1と1x9カーネルを並列にしたブロックでは、3x3カーネルのブロックを置き換える数が減るほど精度が上がる傾向がある。
1x1カーネルを加えたモデルでは、3x3カーネルのブロックを置き換える数が減るほど精度が下がる傾向がある。
方策について、その傾向がはっきりでている。

Ryfamateと同様のブロックでは置き換える数が増えるほど精度が下がり、1x1カーネルを加えると逆に精度が上がることが確かめられた。
これは、仮説を裏付ける結果になっている。


また、置き換える位置を変えた場合(条件3と4、条件7と8)、Ryfamateと同様のブロックの方は間隔を空けて置き換えた方が精度が高い傾向がある。
1x1カーネルを加えたモデルでは違いは小さい。
Ryfamateと同様のブロックは間隔を空けずに使うと、より位置情報が伝達されにくくなると言えそうである。

まとめ

Ryfamateと同様の9x1と1x9カーネルを並列にしたブロックは、位置情報が失われているという仮説を検証した。
実験の結果、Ryfamateと同様のブロックでは位置情報が失われているという仮説を裏付ける結果となった。
1x1のカーネルを加えることで、ブロックの数を増やすことでより精度を上げることができることが確かめられた。