前回、Kontakt5で生成した音色×音階のデータを使うと精度が下がったことを記載した。その後、データクリーニングを行ったところ、精度が下がらないことがわかった。 自動データクリーニング ACFベースのピッチ解析とSwiftF0のどちらも正解のMIDIと異なるデー…

前回、PythonでVSTiを読み込んで音を鳴らす方法について調べた。今回は、Kontakt5のライブラリから音色を連続的に切り替えて自動的にWAVファイルを作ることを試す。 Kontakt5の音色切り替え 前回も記載したが、音色は、VSTiのインターフェースで切り替える方…

前回、録音した音声にSwiftF0で疑似ラベルを付けて、決定木を学習することを試した。学習したモデルを使うことで、アコースティックギター、エレキギター、エレキベースで、安定してピッチ推定が行えるようになった。ギター、ベース以外にも様々な楽器のピッ…

前回、SwiftF0の推論処理をC++で実装してチューナーアプリに組み込んでみたが、誤差が20cent近くあることが分かった。チューナー用途では、20centの誤差は許容できないため、ピッチ推定のアルゴリズムは既存のものを使い、決定木の機械学習モデルの訓練デー…

前回、Pythonで試したSwiftF0の推論を、WindowsのC++プログラムでリアルタイムに行う方法を検討した。 SwiftF0のモデル SwiftF0のモデルは、ONNXで公開されているので、それをそのまま使うことを検討する。Netronで、ONNXモデルを確認すると、STFTもONNXで処…

先日、Windowsのチューナーアプリを開発してMicrosoft Storeで公開した。ピッチ検出のアルゴリズムは、ボーカル音程モニターと同じアルゴリズムを使用したが、特定の弦でオクターブエラーが発生することが分かった。精度改善のため、ギターとベースで様々な…

作成中の本物のギターを使う音ゲーで、弦がチューニングされていないと誤判定が増えるため、チューナー機能を搭載したい。チューナーの処理は独立しているので、先に単独のチューナーアプリを作ることにした。 実装 チューナーのピッチ推定アルゴリズムは、…

前回は、音声入力とリアルタイム音程／和音解析を実装した。今回は、メトロノームを実装する。 メトロノーム 録音時と、再生時にメトロノームを鳴らす。録音の開始時は、1小節分メトロノームを鳴らしてから開始するカウントインオプションを設ける。 メトロ…

前回、タブ譜からギター奏法に対応したピアノロールを描画するところまで実装した。今回は、音声入力とリアルタイムに和音を解析する処理を実装する。 検討事項 音声入力 WASAPI共有モードのイベント駆動で入力する。 サンプリングレートは録音再生時にリサ…

前回、ギターの音ゲーのタブ譜の描画まで実装した。今回は、ピアノロールを実装する。 ピアノロール ピアノロールは、音符(ノート)を、縦軸を音階(12音階)、横軸を時間として表したものである。 縦軸はラベルの代わりに、ピアノ鍵盤を縦に表示することで、音…

先日、タブ譜(.gp5)を読み込んで、MIDIを再生するプログラムができたので、今回はタブ譜の描画を行う処理を作る。ゴールは、本物のギターから音を入力して、採点をする音ゲーを目指している。採点部分に関しては、以前にCQT+NNLSでリアルタイムに和音解析す…