PyTorchで画像分類モデルを学習するとき、学習ループやチェックポイント管理、TensorBoard対応などを毎回自前で実装するのはやや煩雑である。 Hugging Face Transformers の Trainer を使うことで、NLP用途だけでなくCNNのような画像モデルでも、シンプルか…

torch.compile は、PyTorch 2.0 以降で導入された高速化機能で、既存の PyTorch コードをほとんど変更せずに JIT コンパイルして最適化できる仕組みである。 主に GPU 実行時のオーバーヘッド削減やカーネル融合によって性能を向上できる。dlshogiの train.p…

先日の世界コンピュータ将棋選手権の会場で「あすとら将棋」さんから、GPUへのデータ転送を推論と並列化すると1割くらい速くなるという話を伺って、さっそく実験してみた。 データ転送の並列化 これまでは、一つのGPUを複数スレッドで共有して、1つのスレッ…

将棋AIの大会で、DL系の開発者が減少傾向にあるため、dlshogiの成果物を少し共有したいと思います。 TransformerのPython実装 第5回電竜戦と第35回世界コンピュータ将棋選手権で使用したResNet+TransformerモデルのPython実装をGitHubのmasterブランチに追加…

5/3～5/5に開催された第36回世界コンピュータ将棋選手権に「dlshogi」というプログラム名で参加しました。 大会の概要 今回は、55チームが参加しました。 第1予選、第2予選を通過した上位8チームで総当たりのリーグ戦で決勝戦が行われました。参加チーム数は…