音声合成– tag –

【はじめに】Unity の 3D モデルに口パクを入れたいと思ったとき、やり方はいくつかあります。よくあるのは、音声の音量や周波数帯を見て、それっぽく口を動かす方法もあります。実装は比較的簡単ですが、実際に話している内容と口の形が一致するとは限りません。特に日本語の AIUEO 口パクをきれいにやろうとすると、見た目の違和感が出やすいです。今回、自分は Style-Bert-VITS2 を使った TTS から、\Unity 側でそのまま使える口パク情報をかなり素直な形で取り出せるようにしました。Style-Bert-VITS2 は下記のリンクで元のソースコードを取得できます。github.comhttps://github.com/litagin02/Style-Bert-VITS2github.comgithub.comポイントは、音声波形を後から解析するのではな...

最近 VITS TTS が面白くてずっといじっていたベースコードを改造して、いくつかの音声合成モデルをファインチューニングしてみました。その内、イントネーションが割とよく、上出来だなーと思っているのは「あみたろの声素材工房」の音声を使って学習したモデルです。VITS モデル自体は下記のリンクで公開しています。VITS-Amitaro-Modelこちらのリンクでどいう音声なのか試せます。音声生成したいテキストを入力して 「Generate Voice!」 ボタンを押せば音声が作成されますVITS-TTS-Japanese-Only-Amitaroそのままモデル公開するだけでは使いにくいと思い、　API を作りました。APIは2種類の出力があって、渡したパラメータによって出力が変わります。"audio_array" 音楽データのArra...

具体的には・Unity WebGL で 3D モデルアバター・A3RT の TalkAPI (雑談API) で返事生成　・生成した返事を Docomo 音声合成APIで音声生成ソースコードなど細かい説明は別の記事でいいかなと思います。作ったものはこちら。document.getElementById("test_mokuran").innerHTML='';