歌舞伎座.tech#15「バーチャルキャストを支える技術」にLT登壇しました (Pixiv Fanbox)

各画像にノートを付けます。 １． バーチャルモーションキャプチャーの紹介をします。よろしくお願いします ２． 自己紹介です。ハンドルネームあきらです。ASKエンジニアリングという会社で、普段は組み込みアプリとかXamarinでマルチOSのアプリ作ったりしてます。 今回紹介するのは全く関係なく個人で開発しているアプリで、それが ３． バーチャルモーションキャプチャーです。いわゆるVtuberになれるアプリで、VR機器でVRMモデルを操作するものです。大きな特徴として、VRゲームと同時起動が出来るというのがあります。 さらに、MR合成機能に対応していて、VRゲーム内に入ったような撮影が出来ます。そのために、ゲーム内で手の位置がずれると入ってる感が無くなり、合成感が強くなってしまうので、なるべく手の位置がずれないキャリブレーションをしています。今日はそのキャリブレーション方法をお話しします。 ４． まずはよくネットで見るSteamVRとFinalIKのVRIKを簡単に使う説明ですが、これには問題があって、VRIKに設定する手の位置は手首で、取得できるコントローラーの位置は、先端部分というずれがあります。 するとどうなるかというと、 ５． 左の写真のように手にコントローラーを持っているはずなのに、画面に表示されるモデルは右側のように手首にコントローラーの先端が貼りついたようになります。なので、 ６． コントローラー側にオフセットを持たせて、手首の位置に合わせるようにします。ついでにコントローラーを60度くらい斜めにして、90度横に回転させるとちょうどよくなります。これで手の回転は正しくなるのですが、 ７． 今度は操作する人間とモデルの大きさが合わない問題が発生します。この絵の場合人間の方が大きいので、 ８． ここまで手を動かしているにも関わらず、まだモデルの手は伸びたままです。さらに手を曲げると ９． やっとモデルの手が動くようになります。(前のスライドをパラパラ表示)　この状態になってるのをよく見かけます。 １０． じゃあどうするかという話ですが、主に2パターン合って、人間側を小さくするか、モデル側を大きくするかです。バーチャルキャストとかのモデルの大きさを変えられない場合、大体はこちらですが、人間側を小さくします。バーチャルモーションキャプチャーは、MR合成をするために逆にモデル側を大きくして、それだけだとずれる分を人間側を小さくして、とにかく手がなるべく実際の位置に来るようにしています。つまり、 １１． まずモデルを両手の間に配置します。この時向きも合わせます。この緑色の丸がトラッカーで、赤い丸がVRIKに設定する位置です。次に １２． 手の高さの比率を使って、モデルを拡大します。 １３． この時、VRMのコライダーはスケールが変わらないので、必ず同じ比率でコライダーも拡大します。そうしないと髪の毛が貫通したり浮き上がったりします。そして、頭、両手、腰両足の3つに分けて、ずれている分スケールで調整します。 １４． そうすると大体同じような位置にすべてのトラッカーが配置されるので、最後に少しずれている分のオフセットと回転を各トラッカーに掛けます。 １５． これで完了です。なるべくスケールで調整することで最後に微調整で入れるオフセットを少なくします。オフセットが大きいと、回転したときにかなりずれたりします。ここまでやるとどうなるかをこちらの、 １６． のらきゃっとさんに許可を頂いて、バーチャルモーションキャプチャーをフルに使うとこうなるという動画をお借りしました。ご覧ください。 https://twitter.com/VR_Girl_NoraCat/status/1044235838870118400 はい。最高ですね。もしコントローラーを3本持っていると、今のようにカメラを移動することも出来るので、カメラマンを置けばVRゲームしている人を撮影もできます。 １７． 以上になります。今見ていただいた動画のようなVRゲーム実況が簡単に取れますので、ぜひ使ってみていただければと思います。先週ついに公式ページができましたので、VRMのページのリンクをこれにしてもらいたいと思っています。 ありがとうございました！ 公式ページ https://sh-akira.github.io/VirtualMotionCapture/ 初のLT登壇でしたが、無事発表できて良かったです。 キャリブレーションは色々あると思いますが、 参考になれば幸いです。 ありがとうございました。 (pixivFANBOX、画像いっぺんに上げて文章書くしかできなくてブログに向いてない)