【VR】Virtual Desktop β版で実装された、フルトラッキングエミュレートを試してみた
Virtual Desktopのβ版が公開され、Index式ハンドトラッキングと仮想フルトラッカーが使えるようになりました。
2月6日にX(旧Twitter)で発表されてから、待ち望んでいた方も多いのではないでしょうか。
ひとまず、私も使ってみたので軽く感想などを書いてみますね。
※2024年3月15日に正式版が実装されましたので、β版の部分に関しては読み飛ばしてください。
β版のインストール方法
まず、Virtual Desktopのβ版をPCにインストールするために、DiscordのVirtual Desktop公式サーバーに登録をしましょう。
公式サーバーへのアクセスは、
Virtual Desktop streamerがPCにインストール済みであれば、『ABOUT』からアクセスするか、
Virtual Desktopの公式サイトからアクセスできます。
今度とも色々情報が出てくると思うので、これを機に公式サーバーの登録をしておきましょう。
公式サーバーにアクセスしたら、『announcements』に英文ではありますがβ版の参加方法が記されているので、その通りに作業します。
掻い摘んで書くと、
GitHubより、『VirtualDesktop.Streamer.Setup.exe』をDLDLした『VirtualDesktop.Streamer.Setup.exe』をPCに手動インストールMetaの公式アプリ、またはQuest内のライブラリより、Virtual Desktopのバージョンをβに変更Quest内のライブラリより、Virtual Desktopを手動アップデート
と、なります。
まずは、Virtual Desktop streamer BetaをPCにインストールしましょう。
手順は省略しますが、上記の通りにDLしたexeファイルを手動インストールすれば、
Virtual Desktop streamerのバージョンが『1.30.3』になっているハズです。
ご確認ください。
PCでの作業は以上となります。
次に、QuestのVirtual Desktopのアップデートします。
先にも書いた通り、Metaのスマホアプリ、Quest内のライブラリ、どちらからでもできますが、ここではアプリを使ったやり方を説明します。
Metaのアプリを開き、メニューを選択メニューからライブラリを選択Virtual Desktopのアプリを選択アプリのページが開いたら、ずずっと下の方にスワイプその他の情報のタブをタップして展開するバージョンをタップチャンネルのタブをタップBETA:1.30.3.0を選択
アプリでの操作は以上です。
次に、Quest内のアプリを開き、Virtual Desktopを手動インストールします。
設定の手順が間違っていなれば、アップデートできるようになっているので、普通にアップデートするだけです。
インストール完了後、こちらもバージョンが1.30.3になっているか確認してください。
Quest、PC双方のバージョンが一致していれば、一旦の作業は終了です。
Virtual Desktopでエミュレート機能を有効化する
それでは、いつも通りQuestのVirtual Desktopを起動しましょう。
正式版でも違いはないようなので、記事はこのままで。
STREAMINGに『Forwrd tracking bata to PC』が増えているので、チェックを入れます。
VIVEトラッカーのエミュレートを使いたい場合は、『Emulate SteamVR Vive trackers』にチェックを。
ハンドトラッキングを使いたい場合は、『Emulate Index controllers』にチェックを入れてください。
Virtual Desktopでの作業は以上です。
成功していれば、
PC側のSteamVRのウィンドウに、Indexコンとたくさんの仮想トラッカーが表示されているハズです。
SteamVRを起動すれば、SteamVR上の画面に、Indexコントローラーとトラッカーが表示されています。
Questコンでも、Indexコンの表示になります。
SteamVRのウィンドウにトラッカーが追加されない場合
様々な要因が考えられますが、私が直面した内容について書きます。
設定を行っても、仮想トラッカーは表示されないし、ハンドトラッキングもハンドサインになってしまい、5本指を動かすことができません。
メニューを開いたときに表示されるコントローラーはQuestのままです。
解説サイトなどには、Indexのコントローラーが表示されるとあるのに、なぜなんだろう……と首を傾げていましたが、色々弄り回した結果、原因が特定できました。
SteamVRの設定のアドオンの管理で、スタートアップ関係の項目がありますが、その中にある『Virtual Desktop streamer(Quest)』。
これがOFFになっていたのが原因でした。
SteamVR2.0が実装された後、メニュー画面を開こうとするとフリーズしてSteamVRがエラー落ちしてしまう現象に悩まされました。
QuestではなくIndexを使っていたからですが、Virtual Desktop streamer(Quest)をOFFにする事により、エラーが起きないことを知り、以降、ずっとOFFにしたままでした。
ONに切り替えたら、問題なく動作しました。
あくまでも一例ですが、参考までに。
仮想トラッカーを無効化する
あくまでも仮想トラッカーなので、実用的に使える部位は限られています。
具体的に書くなら、両肘、胸、腰の4か所のみです。
試してみましたが、下半身は当然ながらほとんど機能せず、腰もないよりは良いですが動作がかなり限定されるため、所持しているのであれば物理トラッカーを使った方が良いです。
飛ばないトラッカーと言う意味では素晴らしいのですけれどもね。
腰と足は、物理トラッカーにお任せと言う事ですね。
仮想と物理のトラッカーの併用となるため、被ってしまう場所は仮想トラッカーの機能を無効化をしなければいけません。
本来であればQuestでトラッカーを認識させたように、『steamvr.vrsettings』の設定を書き換えるわけですが……ここはズバリ、ツールを使って解決してしまいます
すでに『Virtual_Desktop_Body_Tracking_Configurator』と言う、設定ファイルを開かずにトラッカーのON／OFFを変更できるツールが公開されています。
このような感じで、使用するトラッカーの場所を簡単に指定できます。
私は、両肘と胸の仮想トラッカーのみを残しました。
上肘(arm upper)のトラッカーは、話によるとVRChatで使用する場合は無効化した方が良いとの事なので、仮想トラッカーは3個所のみになりますね。
最後に『Export Settings(All Pages)』をクリックすれば、書き換えが行われます。
実際に使ってみたよ
では実際に、仮想トラッカーを使用した動画をアップしてみました。
胸、両肘が仮想トラッカーで、腰、両足はVive トラッカーです。
HMDはQuest Proを、コントローラーはQuest touch Proを使用しています。
ちなみに、Quest2でも動作は確認済みです。
まずまずの精度ではないでしょうか。
でも、もう少し考えて動けばよかった(白目)。
肘の方は、物理トラッカーを使用した事があると物足りませんが、ある程度追従してくれるので写真撮影程度であれば実用レベルでしょうか。
touch Pro コントローラーを使用していると、一切飛ばない無敵の肘が完成します。
割と、とんでもないな？
ただ、動画やダンスを撮影したりする場合には気になる程度の遅延があります。
１秒程度の遅れが出るでしょうか？
通常使いにはほぼ影響はありませんが、激しく動いたりする場合は、物理トラッカーを使った方が良いかも知れません。
おま環かも知れませんが、左肘……と言うか肩？ の挙動が少しおかしかったですね。
両肘を同じだけ横に上げても、左腕がわずかにしか上がらなかったりしたことがありました。
ひょっとしたら、仮想胸トラが影響を与えているかもしれませんね。
※どうもカメラで肘の位置を特定しているのはQuest3のみらしく、Quest2やProではコントローラーの位置や角度で肘の位置を推定しているらしいです。
つまり、手首を動かすと肘も同時に肘も動き、肘を固定したまま手首を動かす行為はできないと言う事……らしい……！……？
Quest3は持ってないので、自分では検証はできないのですが。。。
また、仮想肘トラッカーを使用している場合、肘を回転させると捻じれます。
物理トラッカーを使っている時にはなかった現象なので、この辺りはまぁ仮想かな……と言った感じです。
胸トラッカーは使ったことがないので物理と仮想の差は分かりませんが、上半身を捻ると上半身のみがついてきたり、体が正面を向いている状態で頭だけ横を向けられたりと、しっかりと機能しているようです。
胸トラッカーがない場合は、頭と胸が同じ方向を向きますからね……。
振り向きポーズも当然いけます。
ちなみに物理のIndexコントローラーでも試してみましたが、仮想トラッカーがまともに機能しませんでした。
仮想Indexコントローラー(ハンドトラッキング)か、Questコントローラーは必須となるようです。
では、ハンドトラッキング(Indexコントローラーエミュレート)についてです。
Indexコンエミュレートをオンにしている場合、通常のコントローラーでグリップを握ると、中指、薬指、小指を同時に握り込んでしまうので、中指を使うハンドサイン……つまり、ピースができなくなるようです。
仕様なのか、正式版で修正されるかまでは分かりませんが、仮に仕様だった場合はちょっと困りますね？
ハンドトラッキングに関してですが、現在はハンドトラッキングのみでの移動等はできないものの、指が思い通りのワキワキ動かせるのは実に楽しいです。
ただ、Questのハンドトラッキングとは違い、あくまでIndexコンのエミュレートのため、指の間を開いたり閉じたりと言った動きはできません。
あくまで指の折り曲げだけですね。
またトリガーに該当する人差し指以外は、ある程度曲げると一気に折れ曲がるので、繊細な動きはできないようです。
それでも、表現の幅はかなり広がるのではないかと思われますね。
実際のIndexコントローラーの違いとしては、コントローラーを手に持っていないため、しっかりと両手を合わせることができる事です。
指を組んだように見せる事もできるため、『オーロラエクスキューション』とかのポーズも可能ですよ！
問題点としては、Questのカメラ範囲でないとハンドトラッキングは利用できないので、常時、「よろしい、ならば戦争だ」のポーズになってしまうことですね(笑)。
頭の上や顔の横でもトラッキングが飛びますので、視界内のみ有効な感じです。
そういう意味では、ハンドトラッキングが正式実装されたからと言って、contact sheetやyubitora+などのQuestコンアクセサリーの出番がなくなることはないと思います。