Style-Bert-VITS2 で手軽に Unity の正確な口パク情報を出力する方法
【はじめに】Unity の 3D モデルに口パクを入れたいと思ったとき、やり方はいくつかあります。よくあるのは、音声の音量や周波数帯を見て、それっぽく口を動かす方法もあります。実装は比較的簡単ですが、実際に話している内容と口の形が一致するとは限りません。特に日本語の AIUEO 口パクをきれいにやろうとすると、見た目の違和感が出やすいです。今回、自分は Style-Bert-VITS2 を使った TTS から、\Unity 側でそのまま使える口パク情報をかなり素直な形で取り出せるようにしました。Style-Bert-VITS2 は下記のリンクで元のソースコードを取得できます。github.comhttps://github.com/litagin02/Style-Bert-VITS2github.comgithub.comポイントは、音声波形を後から解析するのではな...
