前書き
ここではVroidアバターでの配信を行うときのやり方を紹介します。
あくまでわたしがやったことのある方法というだけなので、もっと簡単な方法があるかもしれません。その辺はあしからず！
大きく分けて以下の3通りです。
1. 3teneFREEを使う
2. 3tenePROを使う
3. Warudoを使う
自由度と難易度が1→2→3の順で上がります。
それぞれ予算や必要な機器が変わってくるので、合ったものを選ぶのが良いと思います。個人的なおすすめは3. Warudoです。
注意事項
・わたしはWindows環境のためmacではUIなどが異なる場合があります。
・Vroid、OBSはインストール済みの前提で、基本的な操作は割愛しています。
・ゲーム配信などを行う想定とし、ハンドトラッキング・ボディトラッキングについては説明していません。
・パーフェクトシンクについても今回は説明しません。
説明に使用しているアバターについて
・宇宙一可愛いVroidアバター
haki3D(2.1)／©hakaseLab.
・Vroid衣装
OFUJI STORE
画像の無断転載、AI学習は禁止です。
Vroidでの事前準備
いずれの方法でも必要となる、Vroidでの「髪の揺れ設定」と「書き出し」を行います。
公式の解説はこちら。
ポイントだけ抜粋すると以下の通りです。
①Vroidの「髪型」タブから揺らしたい髪のアイテム（前髪、アホ毛など）を選択し、「髪の揺れ方を設定」を押す
②「ボーングループを自動作成」を押す
または「ボーングループを未設定」の中から1つの毛束として扱いたいヘアを選んで「ボーングループを作成」する
よくわかんないんだけど…って場合は手書きグループごとにボーングループをつくっておけばいいよ！
③設定したボーングループごとに揺れ方を設定する
各パラメーターの意味は公式の解説を参照してください。
わたしの設定ポイント
かたさ
・基本的には「かたさ」を調整すれば髪の揺れやすさが変わると思います。
・わたしは基本0.5～0.8、大きく揺らしたい小さな毛束やアホ毛は0.1～0.4くらいで設定しています。
固定点
・毛先だけ揺らしたい場合などに固定点を調整します。
・また、ボーングループを設定したら髪の形が変わっちゃった！ということがあります。このときは固定点を大きくすることで解消できます（ただし当然揺れは小さくなる）。
ボーン数
・関節数ですので、多いほど揺れたときの髪の曲がり方が滑らかになります。
・かたさを下げてるのに柔らかく揺れてくれない～というときはボーン数を確認してみてください。
衝突半径
・揺らしたときに顔や体に貫通してしまう場合は、これを大きくしてみてください。
④揺れ方の確認
ある程度調整できたら、揺れ方設定画面を終了し、右上のカメラボタンを押します。
「ポーズ＆アニメーション」でアバターを動かし、揺れ方を確認します。
後の手順でモーションキャプチャーで動かすとまた雰囲気が変わるので、今はあくまで仮の確認です。
ゲーム配信だとあんまり頭を動かさないので、全体的に揺れは大きめに設定しています。
ここは好みだと思うので、自分がいちばん可愛い！と思う設定にしてね。
⑤VRM出力
右上の出力マークから「VRMエクスポート」＞「エクスポート」でVRM出力します。
フォーマットはVRM0.0にします。
1. 3teneFREEを使う
3teneFREEという無料ソフトを使用して配信をする場合、最低限必要なものは以下の通り。
・3teneFREE｜無料（Win/Steam/mac）
・ウェブカメラ｜比較はしていませんが3000円くらいのものでもちゃんと動きました
その他、Leap Motionというモーションコントローラーがあると手の動きもトラッキングできますが、わたしは持っていないのでここでは説明を省きます。
①3teneFREEをインストール＆アバター読み込み
PCにウェブカメラを接続したら、3teneを起動します。
3teneの使い方はこちら。
「アバターの読み込み」の説明に従って、先ほど出力したVRMファイルを読み込みます。
最初に、右のメニューから「設定」を開きます。
「システム」タブからウィンドウ設定を以下のように変更してください。
もしPCが重くなってしまったときは解像度やクオリティを下げてみて。
②フェイストラッキングの開始
右側のメニューの「アバター調整」から各種設定をしていきます。
機器タブ＞「フェイストラッキングの種類」は「ウェブカメラ」を選択します。
「ウェブカメラの選択」で接続しているウェブカメラを選んでください。
リップシンクの種類は2種類から選べます。
顔認識：カメラで映っている口の動きと同じように動く。
音声(録音)：マイクに音声が入力されたら、音声から口の形を推測？して動く。
音声(録音)を選んだ場合は、「音声リップシンク」の欄からマイクなどを選択してください。
まずは顔認識を選んでおきます。
設定できたら、右下の「設定の保存」を押します。
次に右のメニューから「トラッキングの開始」を開きます。
「フェイストラッキング」「リップシンク」を開始してください。
これでアバターがカメラの映像をもとに動き始めますが、まばたきしなかったり口が閉じなかったりすると思いますので、次で細かい部分の調整をしていきます。
髪の揺れを修正したい場合は、一度Vroidに戻ります。がんばれ！
③トラッキングの各種設定
右のメニューから「アバター調整」を開きます。
わたしが調整している部分を挙げていきますので、参考にしてください。
設定を変更したら、忘れずに「設定を保存」を押します。それだけだと反映されないときがあるので、その際は②のトラッキングの開始画面で一度トラッキングを停止し、再度開始します。
基本タブ
「目元」欄で自動まばたきとカメラ目線の設定ができます。
自動まばたきについては、基本は自分のまばたきを反映してほしいのでOFFにしていますが、この後の顔の設定でうまくまばたきできない場合はONにします。
顔タブ
まばたきの動作
これを「取得パラメータ」に設定することで、カメラに写っている自分のまばたきが反映されます。
表情が標準以外の時のまばたきを無効
左のメニューから表情を選択することができるのですが、標準以外の表情をしているときにまばたきをしなくなります。
例えば笑って目を閉じているとき（^^ ←この目）にまばたきが反映されると目が変になるので、これはONがおすすめ。
頭の反応～まばたきの感度
ここはパラメーターを動かしながら、アバターの顔がうまく動くように調整していってください。
口の感度～口の応答性
リップシンクを顔認識で設定している場合はここを調整して、口がスムーズに動くようにします。（ただ、これがなかなか難しい…）
ここまででアバターの動きはこんな感じ。
わたしのﾘｱﾙﾌｪｲｽに問題がある可能性はあるけど、口がうまく閉じれないのでリップシンクを音声に切り替えてみます。（機器タブの「リップシンクの種類」から）
音声リップシンク
リップシンクを音声にした場合はここで調整します。
タイプA/Bは機器タブで選択できますが、これは…なんか…微妙な差なので、好みだと思います。
音声リップシンクで動かしたのがこちら。
良くなった！！！！！
個人的には3teneでは音声リップシンクの方が自然に動いて良いなと思います。
④OBSに映す
左のメニューから「ステージの背景設定」を選びます。
背景変更を「色指定」にして、透過背景を押します。
あとはOBSのゲームキャプチャで3teneを選び、「透過を許可」にチェックすることでアバターのみを映すことができます。
緑背景にして、クロマキーのフィルター追加でも可。
2. 3tenePROを使う
より精度の高いトラッキングや、表情の自動変更がしたい場合は3tenePROを使うと簡単に行えます。
必要なものは以下の通り。
・3tenePRO｜有料（Win/Steam/mac）
・ウェブカメラ、またはiPhoneの無料アプリ
3tenePROは2024年12月現在、3,300円で購入できます。
PROではiPhoneで使える「3teneFT」というアプリを使用することで、高精度なトラッキングができます。
ウェブカメラでもFREEと同様に動きますが、それだとあんまりPROの良さが生かしきれない気がします…高性能なウェブカメラを使えば違うのかも…？
とりあえず今回はこの3teneFTを使って設定をしていきます。
3teneFTと3tenePROの接続についてはこちらを見ながらやってみてね。
フェイストラッキングの設定
基本的な使い方はFREEと同様なので、ここでは3teneFTの設定ポイントを説明します。
右のメニュー「アバター調整」の顔タブに、フェイストラッキング（iPhone）という欄があります。
「3tene FaceSync」はパーフェクトシンク対応したアバターに表情が反映されるようになる設定なので、今回は無視します。（また今度説明したい）
頭の反応～口の感度は好みでうまくアバターが動くように調整してください。
ウェブカメラより自然に動くので楽しいよね！
ここからがもっと楽しいポイント。
表情自動変更をチェックすることで、自分の表情に応じて、Vroidで設定した表情にアバターの顔が自動で切り替わるようになります。
リアルの顔が笑う（口角が上がる）→アバターが”喜”の表情に変わる
リアルの顔が怒る（眉が下がる）→アバターが”怒”の表情に変わる
リアルの顔が悲しむ（眉が上がる）→アバターが”哀”の表情に変わる
という感じ。喋ってみたり笑ってみたりして、より自然に反映されるように、感度を調整してください。
設定した結果、こんな感じになります。ｶﾜｲｰ!!!
PROだとFREEよりも画質を上げられるので、PCが重くなければ上げてみてもいいと思います。
3. Warudoを使う
ずっと3teneを使っていたのですが、最近Warudoの存在を知り、すっかり移行してしまいました。
3teneと比べるとかな～～り自由度が高く、できることや調整範囲が広いです。
ただ、その分設定項目も多く、外国産ということもあって日本語対応されていない箇所もあり、若干玄人向けに感じます。
また、「ブループリント」というローコードでのプログラム構築ができ、コメントに対して自動でアバターがモーションするプログラムを組む、というようなギミックづくりもできます。
そう書くととっても難しそうですが、一度慣れればいろんなことが出来るようになるので、ぜひ使ってみてください！ね！大丈夫だから！ほんと！！
必要なものは以下の通り。
・Warudo｜無料（Steam）
・ウェブカメラ、またはiPhoneのアプリ（※）
iPhoneでは、iFacialMocap（900円）またはRhyLive（無料）というアプリが必要です。
わたしはiFacialMocapを使っていますのでその前提で説明します。
RhyLiveも良いらしいのですが、UIが全部中国語と聞いて…
（※）その他にもLeapMotionなどのモーキャプシステムが多数使えます。
①インストール
steamからインストールできます。
②基本操作・アバターの読み込み
三十六いざよ様の動画が最高にわかりやすく素晴らしいので、見ながらやってみよう！
③表情の設定
アバターが動いたら、3teneの表情自動変更のような表情の切り替えを設定します。
アバター読み込み時に、動画の通りやっていれば表情のインポートを行っていると思うので、左のメニュー「キャラクター」＞「表情」 の欄に自動でいくつか表情が設定されています。
これをもとに表情切り替えを設定していきます。
今回はJoy（喜）の表情切り替えを設定していきます。
＞Joyを開いて、「瞬きトラッキングを無効化」を「はい」にします。
にっこり^^顔のときに瞬きをすると目が変になるので、アバターの瞬きは停止しておきます。
Joy欄の一番下にあるTrigger Conditionsで、「＋」を押します。
＞（無効）を開いて、今度はConditionsの下にある「＋」を押します。
＞（無効）を開いて、以下のように設定してください。
先にUse BlendShape Value From Face Trackingを「はい」、Face Tracking Assetを「iFacialMocap受信機」に設定することで、上のBlendShapeが選択できるようになります。
どうなっているかというと…
上記のTrigger ConditionsがJoyの表情に切り替わる条件を設定する箇所になっていて、今回は”「mouth smile left」の値（Value）が0.8以上”のときにJoyに変わるように設定しました。
「mouth smile left」とは左の口角が上がった状態を指しますが、笑うときは両方の口角が上がると思うので、「mouth smile right」でもいいです。
また、口だけでなく目や眉の状態でも指定ができるので、自分の表情に合わせて変えてください。
Valueの値は感度なので、ここも自分で丁度良い値に調整してください。
わたしはしっかり笑った時だけJoyに切り替わるようにしたかったので、やや高めに設定しています。
「キャラクタに表情をフェード」の下にある遅延は、リアルの表情が変わってからアバターにJoyを反映させるまでの時間です。0であれば即時反映されます。
一方で、「キャラクタ上に表情をフェードアウト」の下にある遅延は、リアルの表情がもとに戻ってからアバターの表情を戻すまでの時間です。
少し表情をキープさせてから戻したいときは、この値を上げてみてください。（たぶん、数値＝秒数）
④表情の微調整
③の設定で自分が笑うとアバターもJoyの表情に切り替わるようになりました。
ただ、表情の設定によってはJoyのとき口が開いており、その状態で喋ると口が開きすぎる場合があります。
こんな感じ。
そんなときは、Joy欄の真ん中らへんにある「制限付きBlendShapeリスト」を「＋」で追加し、以下のように設定してみてください。
「お」の口をしたときに開きすぎる感じがしたので、制約されたBlendShapeのところで「お」の口の状態を指す「Fcl_MTH_O」を選びます。
そして、制限された最大値を下げることで、「お」の口をしたときに口が開かなくなります。
よし、いい感じ。
こんな要領で他の表情も設定できます。
今回は眉・目・口などすべて含めたJoyの表情セットに切り替わるように設定しましたが、Joyの目、Joyの口など部分的に指定することもできるので、好みの表情をつくってみてね。
⑤瞳やケモミミを揺らす
わたしが最初にWarudoを使いたくなった理由がこれ！！！！
こちらも、三十六いざよ様がとってもわかりやすく解説してくださっています。
ひとつだけ補足すると、目を閉じたときに揺らしたハイライトがまぶたから飛び出てしまうときがあります。（特に褐色肌だと目立っちゃう）
そのときは、オフセットを少し上げてみてください。
上げすぎると瞳の裏に隠れてしまうので微調整で！
完成！！！！！
⑥OBSで映す
動画の通り、背景を透過で設定していれば、
OBSでのゲームキャプチャで「透過を許可」にチェックすればアバターのみを映すことができます。
後書き
ここまで読んでくれてありがとうございました。
もし間違いなどあれば、是非コメントで指摘ください！
ブループリントで試してみたことや、パーフェクトシンクについてもまた記事にしていきたい…！