読者です 読者をやめる 読者になる 読者になる

TadaoYamaokaの日記

山岡忠夫 Home で公開しているプログラムの開発ネタを中心に書いていきます。

word2vec

TF-IDFのword2vecによる改良

先日doc2vecで気象庁のFAQの質問文を使って、類似質問文の検索を行ったが、質問文が短い場合うまくいかなかった。 質問文が短い場合は、TF-IDFのような古典的手法の方が有効であった。しかし、TF-IDFには以下のような欠点がある。 語順が失われる 高次元 単…

doc2vecでWikipediaを学習する

先日の日記でTF-IDFでFAQに回答することを試したが、TF-IDFでは質問文の類似度を単語の頻度に重み付けをして測っている。 そのため、単語が完全に一致している必要があり、同じ意味の単語でも異なる単語として認識してしまう。word2vecを使用すると単語をベ…

AIで質問の回答を選ぶ

ディープラーニングを使って自然言語の質問に、自然言語の選択肢から回答することを試します。例えば、 Which of the following is the primary advantage of sexual reproduction when compared to asexual reproduction? という質問文に、 (A) There is a …