TadaoYamaokaの日記

山岡忠夫Homeで公開しているプログラムの開発ネタを中心に書いていきます。

AWS

AWS inf1 インスタンスで推論を行う その3

前回、neuronコアを複数使用して推論を行うことを試した。 今回は、推論速度の測定を行った。参考にしたいのは、dlshogiでの推論速度であるため、C++のdlshogiの推論部分に組み込んで、どれくらいのNPSがでるのかを確認した。 C++での推論の実装方法 C++でne…

AWS inf1 インスタンスで推論を行う その2

前回AWS inf1 インスタンスでdlshogiのモデルの推論ができることを確認したが、今回はマルチGPUで推論できるかを確かめてみた。マルチGPUにするには、Inferentia チップが複数あるAWS inf1 インスタンス(inf1.6xlargeとか)が必要と思っていたが、よく調べる…

AWS inf1 インスタンスで推論を行う

dlshogiをAWS inf1 インスタンスで動かせないか試している。 AWS inf1 インスタンスは、推論に特化したAWS Inferentia チップが搭載されている。現在のdlshogiは、TensorRTを使用して推論を行っているため、NvidiaのGPUで動かすことが前提になっている。 onn…

dlshogiをAWSのNVIDIA A100インスタンスで動かす

AWSのEC2に、NVIDIA A100のインスタンスが追加されたので、dlshogiでどれくらNPSが向上するか測定してみた。個人としてはAWSを使っていなかったので、AWSのアカウントを作成して、vCPUの上限緩和申請するところから行った。 P4dインスタンスは、vCPUが96なの…

USIエンジンをAWSのWindowsインスタンスで実行する

以前にAWSのWindowsサーバで、GPUを増やしても探索速度を上げられなかったということを書きましたが、後からバグがあって1個のGPUしか使っていなかったがわかりました。 バグを修正したバージョンで、p3.8xlargeで4GPUを使うと自宅のGPU2枚のPCより少し探索…

AWSのWindows AMIにsshで接続する

AWSのWindows AMIで作成したインスタンスにsshで接続する方法についてです。使用したAMIは、「Windows_Server-2016-English-Deep-Learning-2018.03.24 (ami-4f168837)」です。WindowsでSSHサーバを構築する方法はいくつかありますが、マイクロソフトがオープ…