ピアノの音なのに歌詞が聞こえる“音の錯覚”で合成音声作ってみた！ 不協和音からUTAU音源「不和音ファソラ」が誕生
今回紹介するのは、ニコニコ動画に投稿された『【不和音ファソラ】音の錯覚で歌詞が聴こえるUTAU音源【UTAU音源配布】』というみぞれシロップさんの動画です。
投稿者メッセージ（動画説明文より）
みぞれシロップです。
だらだらYouTube見てたら「音の錯覚」の動画を見つけました。
歌の音声ファイルをMIDIに変換したら、ただのピアノの音なのに歌詞が聴こえてくる！というやつです。
これをそのままUTAU音源にしても歌詞が聴こえるのか！？
そして果たしてそれは無生物音源と言えるのか！？てことで作ってみました。
「ピアノの音なのに、なぜか歌詞が聞こえてくる……」。そんな不思議な現象を使って、UTAU音源を作ったとの動画が投稿されました。
UTAUとはフリーの歌声合成ソフト。最大の特徴は、オリジナルの音声を使って歌わせられることです。今回は“歌詞が聞こえるピアノの音”を音源にして、歌わせてみます。
制作のきっかけは、「音の錯覚」を紹介する動画を見たことでした。人間の声をWAVファイルからMIDIファイルに変換し、それをピアノで演奏すると、実際には歌っていないのに歌詞が聞こえるように感じるというものです。
実は音声には、たとえば「ド」の音だったとしても、ド以外の音が含まれています。これは「倍音」と呼ばれるもの。この倍音ごとMIDIに変換して演奏すると、脳が人の声と錯覚し、歌詞が聞き取れるのだそうです。
まず自分の声を録音し、それをMIDIに変換します。使用したのは、自作ツール「GachaWav2MIDI」。オンラインコンバーターでは不便だったので、GoogleのAI「Gemini」を活用し、4日かけて開発しました。
変換したMIDIを再生してみると、ピアノの不協和音が連続したような音が聞こえてきます。ですが、なんとなく「ああんいあうあい」といった言葉が聴き取れます。
こうして作ったピアノの音をもとに、UTAU音源を作成します。投稿者はできあがった音源を「不和音ファソラ」と名付け、キャラクターイラストも制作しました。さっそく「大きな栗の木の下で」を歌わせてみます。
すると、思わず「おおおお」と声をあげてしまうほどの仕上がりです。想像以上に歌詞がはっきりと聞き取れています。
人の声なのか、そうでないのか、不思議な響きがするUTAU音源「不和音ファソラ」。どんな歌声なのか興味のある方は、ぜひ動画を視聴してみてください。
視聴者コメント
爆誕！
これはすごい…！
すごい…！
8888888888888
すげー
文／高橋ホイコ
▼動画はこちらから視聴できます▼
『【不和音ファソラ】音の錯覚で歌詞が聴こえるUTAU音源【UTAU音源配布】』
https://www.nicovideo.jp/watch/sm45221734
―あわせて読みたい―