こんにちは、虎の穴ラボデザイナーのSSです。
現在スキル向上の一環として、Live2Dを学んでいます。
後編の今回は、Live2Dで作成したキャラクターをいよいよトラッキングソフトへ読み込み、実際に配信や動画などで使えるようにしていきたいと思います！

テクスチャアトラスの作成

キャラクターをトラッキングソフトや他のアプリに読み込んで使えるようにするためには、テクスチャアトラスというものを作成する必要があります。

Live2D上ではPhotoshopなどで作成されたパーツをレイヤーごとに読み込んで、目のパーツとして設定などをしてきましたが、トラッキングソフトでキャラクターを表示する場合は一枚の画像からこの部分をこのメッシュに表示、といったように呼び出して表示することになります。
その際に利用するパーツをすべて、一枚の画像にまとめたものをテクスチャアトラスと呼びます。

Live2Dで「テクスチャアトラス編集」というボタンをクリックすると、重なって作られていたイラストのデータが綺麗に並べられます。この際に2点気をつけて確認をします。

1つ目は必要なパーツがすべて含まれている事を確認します。 Live2Dで作業しているとパーツの表示非表示を繰り返す事が多いのですが、パーツを非表示のままにしているとテクスチャアトラスに含まれないため注意が必要です。

2つ目は、水色で表示されているメッシュ範囲が重なっていないか確認します。メッシュが重なっていると、重なったパーツどちらにも重なった部分が表示されてしまうので注意してください。

この2点をよく確認したら、テクスチャアトラスを作成します。

モデルの書き出し

テクスチャアトラスの画像が作成されたら、いよいよトラッキングソフトに読み込めるファイルの作成をします。ソフトの「ファイル」から「組み込み用ファイル書き出し」を選択し、「moc3ファイル書き出し」を選びます。書き出し設定については、こだわりがなければそのまま進めます。モデル名などわかりやすい名前でフォルダを作成して保存するとファイルが書き出されます。 moc3を始めとする物理演算を設定するファイルやテクスチャなどがまとまったフォルダが作成されました。トラッキングソフトやアプリなどで動かす際は、このファイルごと読み込むことになります。

トラッキングソフトへの読み込み

ファイルが完成したところで、次はトラッキングソフトをどれにするかですが、自分の環境がmacのため「VTube Studio」か「nizima LIVE」となります。
色々比べた結果、「VTube Studio」が多くの使用者がいることや、使用時間制限がないこと、有料版が買い切りということで、今回は「VTube Studio」を使用することにしました。

「VTube Studio」をダウンロードし、作成していたフォルダをインポートすると、作成したキャラクターが出現しました！

今回作成したモデルは角度や表情をあまり設定していないため、トラッキング精度の見本としてデフォルトのAkariちゃんをお借りします。カメラで読み取った情報をリアルタイムで、この点と線で表された顔で表してくれます。スクショの際は表情を維持する必要があるため大げさな表情をしていますが、まばたきや喋っている際のささいな表情まで再現をしていてすごいです。

これだけでも十分キャラクターが自分の動きに反応して瞬きなどをしていて感動したのですが、目を開いているのに半目になってしまったり、口が開きにくいなど、少し反応が鈍かったりする部分があるので、感度の調整をします。

ここまで終われば、あとは動いている様子を配信するだけです！

動画配信ソフトへの表示

最後にトラッキングしているキャラクターを、動画や配信上に表示させます。
動画配信ソフトにトラッキングソフトの画面を呼び出すと、トラッキングソフトの動きが動画配信ソフトに反映され、喋ったり瞬きする動きを動画にすることができました！
自分の挙動で動くとより自然に人間らしく感じる気がします。

ただ、VTube Studioと動画配信ソフトを同時に立ち上げていると、PCがかなり重くなることがわかりました。
VTube Studioは問題なく動きますが、OBS上ではぬる〜〜〜っと動いたり、動きが飛んでしまったりします。
macとOBSの相性はあまり良くないそうなので、ソフトの相性のせいかもしれませんが、スペックがギリギリな部分もあるかもしれません。
調べている中でM1チップ搭載だとサクサク動いたという意見も見たので、両方の面から検討が必要そうです。
参考に今回のスペックを置いておきます。

OS　MacBook Pro
CPU　1.4 GHz クアッドコアIntel Core i5
グラフィックカード　Intel Iris Plus Graphics 645
メモリ　16 GB

まとめ

できることはまだまだありますが、キャラクターを１から作成して動かすまでできたので、一度一連の作業を振り返ってみようと思います。

Live2Dでキャラクターを一から作成してみて、苦手としていたモデリングなどへの理解がかなり深まったように感じます。

まず一番大変だった作業は、パラメーターの作成でした。
目が一緒に動かない、頑張って調整したと思ったらパーツが何故か拡大縮小してしまう、などなどわかりやすい問題から、自然に呼吸している動きを作るために変形前→変形後という単純なパラメーター作成でも、胸のあたりだけ動かしたいのに全体的に引っ張られて、腕が太くなってしまったり、足が持ち上がってしまって呼吸のたびに空中に浮いてしまったりと苦労しました。
それだけはでなく、大げさに動きをつければ違和感がある動きになるし、自然を目指した結果実際に動かしたときに動いてる？？となってしまったりと、すごく感覚を要求される部分だなと感じました。
しかし、アニメーション部分の調整は、こういった何らかの方法で物を動かす技術の醍醐味でもあると思っていますし、動きが綺麗にハマったときの感動は忘れられないものだと感じています。
今後、今回学んだことを応用して髪の毛を揺らしたり、表情パターンなどを増やすなど、できることを増やして行こうと思います。

そして、今回の自己研鑽の結果、会社の環境で配信したりすることが可能なことがわかりました。
なので、今後は虎の穴ラボ公式チャンネルでの配信の際に、キャラクターを動かしながら配信することで、動きのある画面で内容を届けることができないかと考えています。
その他にも、仕組みを理解することで、デジタルサインカードでキャラクターを動かすなど、VTuberを始めとしたクリエーターが嬉しいサービスを展開していくことができればと思います。