カメラと連動するリアルVTuber作成

質問

Webカメラやスマートフォンのカメラと連動して動く、人間のようなリアルなVTuberを実験的につくりたいと思っています

目的は配信ではなく、プレゼンテーション動画やユーザーマニュアル動画(資料説明)の解説役を、架空のというか人工的につくったアバター（キャラクター）でやらせたいのです

スピーチ原稿が固まっていない場合も想定し、動画から変換ではなく、カメラで移した人間の動きに合わせて動くものを想定しています。

現在VTuber作成の説明動画をみると、カメラの動きに合わせてアニメなど2次元キャラクターがリアルに動くものはあるようです。

その際、
・Live2D
・VRM
などの形式のファイルを用意する必要があるようです

やり方を調べると、ど2次元キャラクターで説明しているものがほとんどです

アバターはアニメキャラではなく、画像系生成AIで作成した人間にみえるものにしたいのですが、髪の毛があるため難しく、上記ファイルに加工する方法を探しましたがみあたりませでした。

後ろを向いたり踊ることはなく、アバターのフロント（前面）とすこし顔（目）や手や口が動くだけでよいと考えています。

リアルな人間の静止画像を、VTtuberのアバターのよう、カメラが捉えた人間の動きに合わせてに動かす（話させる）方法はあるでしょうか？

Warudoもあるようですが、二次元アバターばかりです

なおxpression cameraは、コスト的に外して考えています

回答No.1

MT765

画像・動画編集合成などを趣味でやっているものです。

まずは順番としてLive2DならLive2Dから勉強してみましょう。

＞画像系生成AIで作成した人間にみえるものにしたい
別にリアル系でもパーツ・レイヤー分けをしっかりすれば問題なくできますよ。
Aiで出力したものは1枚の画像なのでそれを作るなら手作業でパーツ・レイヤーに分離させる必要があります。
口パクや目閉じなどにも対応させる必要があるかも。
これは非常に面倒ですがやってできないことはないです。
（AIではなく、一からLive2D用に作るほうが早い）
アニメっぽい絵の解説サイトばかりでもやり方は同じですから参考にするといいでしょう。

それをモーションキャプチャーなどに合わせてリアルタイムで動かすものもすでにありますから利用すれば良いと思います。

お礼

ありがとうございます
3D/CG系で3D化すると、表面がポリゴン風になりちょっと求める質感ではないので、Live2Dかなあと思っていました

＞一からLive2D用に作るほうが早い
の一からの意味がちょっと不明ですが、パーツを切り出してつくるという意味ですかね

あとで帰宅したら、ゴリごろやってみようと思います