前回までは、TransformerをPyTorch標準のnn.TransformerEncoderを使用して実装していた。 位置エンコーダに「Relative Position Representations」などを使用しようとした場合、Muliti head self-attentionの計算を変更する必要がある。 そのため、Muliti he…