読者です 読者をやめる 読者になる 読者になる

TadaoYamaokaの日記

山岡忠夫 Home で公開しているプログラムの開発ネタを中心に書いていきます。

TF-IDF

TF-IDFのword2vecによる改良

先日doc2vecで気象庁のFAQの質問文を使って、類似質問文の検索を行ったが、質問文が短い場合うまくいかなかった。 質問文が短い場合は、TF-IDFのような古典的手法の方が有効であった。しかし、TF-IDFには以下のような欠点がある。 語順が失われる 高次元 単…

TF-IDFを使ってFAQに回答する

とある理由からBotについて調べています。最近はAIを使ったBotもありますが、古典的な方法として、あらかじめ質問と回答を用意しておき、ユーザが入力した質問と類似度の高い質問を選んで回答する方法があります。TF-IDFがその代表的なアルゴリズムになりま…