目次
VRChatのデスクトップモードに「Selfie Expression」が登場!
VRChatのオープンベータで、ついにデスクトップモードでも顔や手を動かせる「Selfie Expression」が実装されました!
これまではVR機器がないと頭や腕を動かすことができませんでしたが、今回の「Selfie Expression」を使えば、VRC+ユーザーならデスクトップ環境(VR機材なし)でもウェブカメラを利用して、リアルタイムで体の動きをトラッキングできるようになります。
個人的にこれは革新的な機能だと思っていて、デスクトップユーザーでも身振り手振りによるジェスチャーが可能になることで、今まで表現の幅が限られていた「デスクトップ無言勢」でも、より自然にコミュニケーションを取ることが可能になりました!
また、配信者であればVRChat内で設置型マイク(コンデンサーマイクなど)を使った本格的な配信がより簡単になります。
これまで「バーチャルモーションキャプチャー」などの外部ツールを使っていたフェイストラッキングをしていた方も、「Selfie Expression」を使えば、VRChat内だけですべて完結できるようになる点は、見過ごせないポイントでしょう!
さらに、従来の方法ではVRChatアバターをVRM形式に変換する必要がありましたが、「Selfie Expression」なら、普段使っているアバターをそのままデスクトップ配信に活用できます。
これにより、PhysBoneなどのコンポーネントや、liltoonなどのシェーダーの良さもそのまま活かせることも、大きなメリットと言えますね!
この記事では、「Selfie Expression」を利用するために準備するもの、導入手順、実際の動作感について詳しく解説していきます!
準備するもの

「Selfie Expression」を使うために、準備するものは次の2つだけです。
- WEBカメラ(又はスマートフォン)
- VRC+の加入(有料課金)
まず、前提として「Selfie Expression」はVRC+限定の機能のため、利用するにはVRC+に加入する必要があります。
VRC+とは、VRChatの有料サブスクリプションプランです。
加入すると「Selfie Expression」の利用に加え、アバターやワールドのお気に入り枠の増加、ネームプレートのカスタマイズ、プリントカメラやステッカー機能などが使えるようになります。
料金は月額$9.99~で、VRChat公式サイトやMetaストアから登録可能です。
WEBカメラの選び方
WEBカメラを選ぶ際は、解像度よりも視野角の広さを重視しましょう。
広角レンズが搭載されているものを選ぶことで、腕を動かした際のトラッキング範囲が広がり、より自然な動きが可能になります。
ちなみに、私はこちらのWEBカメラをモニターの上に設置して使っています。
WEBカメラがない場合はスマホだけでもOK!

「Selfie Expression」を利用するには、WEBカメラが必要となります。
もし手元にWEBカメラがない場合は、スマホをPC用WEBカメラとして使えるアプリ「iVCam」を利用することで代用が可能です。
PC側に専用ソフトをインストールするだけで、Wi-Fiを利用して無線で接続が可能なので、WEBカメラを持っていなくても気軽に「Selfie Expression」を試すことができます。
iVCamは無料で使えますが、広告が表示されるため、広告を消したり全ての機能を開放したい場合は有料アップグレードが必要です。

WEBカメラは、一度設置すれば細かい設定がいらないから使いやすいね!
「iVCam」も高解像度なスマホカメラを無線で使えるので、どちらもそれぞれに良さがある感じ!
導入方法
ここからは、「Selfie Expression」の導入方法について解説していきます。

まず、メニューを開いて「設定」→「トラッキングとIK」→「フェイストラッキング」の項目から、「セルフィーエクスプレッションを有効にする」にチェックを入れます。
続いて、Change Webcam Deviceから使用したいWEBカメラを選択します。
フェイスミラーをオンにしていると、右下に自分のアバターが表示され、WEBカメラが自動的にトラッキングを開始します。
表情を読み取ることでリアルなリップシンクが可能に!

これまでのデスクトップモードでは、発声時に自動的にリップシンクが行われるだけでした。
しかし、「Selfie Expression」ではWEBカメラでリアルの表情を読み取ることで、無発声時でも口を開けることが可能に!
これにより、ただ話すだけでなく驚いたときに口をぽかんと開けたり、無言のままでも口元で感情を表現することができるようになりました!
指は一本一本トラッキングが可能!

腕の動きはもちろんのこと、指のトラッキング精度はかなり良く、指の一本一本までかなりしっかり認識してくれます。
デスクトップモードでも、ピースサインや指差しなど、細かいジェスチャーを自然に表現できるのは嬉しいですね!
ただし、トラッキング範囲はカメラの性能に依存するため、腕をしっかり伸ばしたい場合は広角に強いWEBカメラを使うことをおすすめします。
上半身は傾きだけでなく横向きも可能!

上半身のトラッキングも自由度が高く、傾きはもちろん、体を横向きにしても問題なく追従します。
モニター上に複数人いる場合でも、話しかけられた相手の方に自然と向くことが可能なので、VRユーザー顔負けのリアルなコミュニケーションを取ることができます!
上半身+指トラッキングでポージングの自由度が高い!

上半身と指のトラッキングを組み合わせることで、例えばイベントの集合写真でピースをしながら動きのある可愛いポーズを取ることも可能です!
これまでデスクトップ勢といえば「棒立ち」が普通でしたが、「Selfie Expression」の実装によって、ある程度自由にポーズを取れるようになったのは、まさに革命的な進化だと言えるのではないでしょうか…!

実際に同じインスタンスに入ってきたフレンドから『VRで入っているのかと思った!』と驚かれるくらい、VRユーザーと変わらない自然な動きができて感動しました!
OBSとSpoutを使えば、デスクトップモードでもVtuberのような配信ができる!
ここからは、「Selfie Expression」を使った応用編として、VRChatのデスクトップモードでWEBカメラとフェイストラッキングを活かし、Vtuber風に配信する方法をご紹介します。
今回は、OBSとSpoutプラグインを使って、好きな背景の上にデスクトップモードの自アバターを乗せて配信画面を作成してみましょう!
OBSのインストール

配信ソフトは定番のOBSを使います。
もしインストールしていない人は、まず以下のリンクからダウンロードしましょう!
Spoutプラグインをインストールしよう!

VRChatのカメラ映像をOBSに取り込むためのプラグインが必要です。
以下からSpoutプラグインをダウンロードしてインストールしてください。
VRChatでストリームカメラを起動する

まず、VRChatのカメラメニューを開き、カメラモードから「ストリームカメラ」を起動しましょう。
次に、その隣にある「Spoutストリーム」をONに設定します。

「マスク」から自分にチェックを入れ、それ以外のすべてのチェックを外します。
これで、自分だけが表示され、他の背景やオブジェクトがすべて透過された状態になります。

カメラを自分の方向に向けたら、「アンカー」から「ローカル」を選択しましょう。
こうすることで、移動してもカメラが距離を保ちながら追従してくれるので、動き回っても画角が変わらず安定します。
ここまで設定できたら、次はOBS側の設定に進みます!
OBSの設定方法
OBSを起動し、ソース追加から「Spout2 Capture」を選択します。

すると、Spout2 Captureの詳細画面が表示されるので、以下の各項目を設定しましょう。

SpoutSenders
VRChatの映像を受け取る設定です。
「VRCSender1」を選択することで、VRChatのストリームカメラ映像をキャプチャできます。
Composite mode
透過部分の描画方法を指定します。
デフォルトでは「Opaque」になっており、この設定では透過部分が黒塗りになって抜けないため、「Default」に変更しましょう。
Poll time for new senders
Spoutのデータを更新する頻度を指定します。
「fast」を選択すると、リアルタイムで更新されるため遅延が少なくなります。
ここまで設定ができたら、OBSにVRChatのアバターが表示されているか確認しましょう。
問題なく表示されていれば、設定は完了です!
配置と解像度の調整

「Spout2 Capture」の大きさを好きなように調整し、あとは好きなシーンのレイヤーの上に配置すればOKです!
VRChatのカメラ設定「ストリームの解像度」と、OBSの「基本&出力解像度」を一致させることで、きれいに録画・配信することができます。