Appleの「Vision Pro」を使っているときに、ユニークな方法で未来を感じさせる、筆者のお気に入りの特徴の1つが、コントローラーがない点だ。代わりに、ハンドトラッキングを使っている。ピンチやスワイプなど、基本的なジェスチャー操作は素晴らしい。
より複雑な3Dの没入空間になると、手だけのジェスチャー言語はうまく機能しなくなるようだ。Appleは、「visionOS」の全体で2Dナビゲーションシステムが機能するようにしているが、より深みのある3Dの操作はまだそれと同じレベルに達していない。
AppleのVision Proに最も近い競合製品であるMetaのヘッドセット「Meta Quest」は、主に物理的なコントローラーを使うが、コントローラーを使わないハンドトラッキングにも対応している。そして、空間で物をつかむなどの3D操作では、Metaのハンドトラッキングの方がVision Proより優れているように感じられることもある。こうしたヘッドセット間の相違や、ハンドトラッキングの使い方の違いは変わっていくだろう。複合現実（MR）に対応し、ハンドトラッキングを採用する仮想現実（VR）ヘッドセットは、まだ草創期にある。大手VRゲーム開発会社の幹部と交わした会話からは、近いうちに大きな変化がありそうな気配が感じられた。
新たなアイデアの糸口になるゲーム
2017年にGoogleによって買収されたOwlchemy Labsは、VRゲームの名作「Job Simulator」と「Vacation Simulator」の開発元だ。両タイトルとも2024年にVision Pro版が登場する予定で、これは完全にハンドトラッキングのみで動作するよう調整が施され、コントローラーは不要になる。
Owlchemy Labsは、しばらく前からハンドトラッキングを模索しており、Vacation SimulatorはQuest用の実験版アップデートですでにハンドトラッキングを採用している。2023年に、筆者はより高度なハンドトラッキング操作を試すデモに参加しており、ピンチを中心とするジェスチャーで物を動かしたり、仮想キーボードで文字を入力したりするのを体験した。AppleがVision Proのデモを初めて開催する数カ月前のことだ。
2024年に入ってから今までのところ、MRヘッドセットはハンドトラッキングのみのものと、コントローラーがオプションとして用意されているものとに二分されているようだ。例えば、MetaのQuestシリーズとAppleのVision Proでも、インターフェースの設計はかなり異なる。その違いが均質化に向かい、これまでになく大きく進化するのかもしれない。
Owlchemy Labsの最高経営責任者（CEO）であり、「CEOwl」の愛称で知られるAndrew Eiche氏は、先頃筆者と交わした会話で、今はスマートフォン初期の頃に似ていると話していた。スマートフォンも、その歴史の中でマルチタッチのジェスチャー言語をかなり変化させてきた。
没入型のハンドトラッキングが深化するフェーズの始まりか
「Appleが成し遂げたことの中で見事だったのは、このピンチ操作をうまく機能させたことだ。そこからOS全体を構築できるらしい」、とEiche氏は語っている。Owlchemy Labsが実施したデモは、同社が取り組んでいる高度なハンドトラッキングベースのゲームに関する初期作業の一環であり、視線ベースとピンチベースの操作の組み合わせを追究していた。だが、それと同時に、より複雑な3Dベースの体験について多くの点でVision Proに欠けている、深みのある制御方法も模索している。
Eiche氏は、こうした3D操作の方が、ある意味、後から追加するのが容易だと考えている。「いくつかの点で、2D要素の方が難しかった。3D要素は、難しくないというわけではないが、脳マッピングの観点から言うと、わずかながら容易だと思う。ボールを拾うなら、ただ拾うだけ。その方が、例えばスクロールバーのような抽象的な概念より理解しやすい」
Eiche氏は、ハンドトラッキングをベースとするMRの現在のフェーズついて、当面は、どんなことでもとにかく機能することを見つける段階だとも考えている。ちょうど、「iPhone」が初めて登場した当時に見られた、タッチベースのスマートフォンの初期段階と似ているという。「思い返せば、スマートフォンが初めて登場したときには、ウェブサイトを閲覧するのもひと苦労だった。ピンチ、ズーム、ピンチ、ズームの連続で、リンクも小さかった」（Eiche氏）
同氏が、特に興味深いと感じているのが、ジェスチャーの進化の仕方だ。「引っ張って更新する。この操作のことを、いつも考えている。スマートフォンならではの、実に独創的な操作だ。他のプラットフォームだったら、決して生まれなかっただろう。VRには、この『引っ張って更新』に当たる発明がまだない。そこまでは、まだかなりの道のりだ」
VR目覚まし時計のスヌーズボタンをたたけるように
現在Vision Proで3D操作を利用する個々のゲームやアプリは、インターフェースのスタイルのあらゆる面が、ばらばらになっている。ピンチ操作とマウスのようなドラッグ操作を使うスタイルもあれば、全面的にハンドトラッキングでつかむスタイルも、その中間のようなスタイルもあって、あまり一貫していない。
Eiche氏は、MRヘッドセットとMRメガネのすべてでハンドトラッキングを不可欠な要素と認識しているが、設計者に対しては、「2Dの限界」を打ち破って、物をつかむなど、より自然な操作を取り込んでほしいと考えている。例えば、Vision Proの空間に浮かぶ時計アプリなら、目覚ましのアラームが鳴った際に、画面を見つめたりピンチしたりして止めるのではなく、自分の手でスヌーズボタンをたたけるような体験にすべきだという。
それとは別に、複数のMRアプリを並べて同時に動かし、かつ、理にかなった操作や体験を実現するにはどうすればいいか、ということもEiche氏は検討している。Vision Proでは、多くのアプリを同時に実行できる。それなら、開発者はどうすればマルチタスクをもっと直感的に機能させることができるのだろうか。
Vision Proではすでに、「Digital Crown」を使って現実世界の取り込み具合を調整することで、完全没入型のVRとオープンな拡張現実（AR）との間を、ある程度途切れることなく行き来できるようになっている。しかし、さまざまなレベルの没入感を探るために、もっと多くのアプリで進化が必要になるかもしれない。Eiche氏が例えている、ノートPCの全画面モードのようにである。ハンドトラッキングのインターフェースが没入感のレベルによって変わるようにしてもいいかもしれない。Owlchemy LabsはまだMRゲームを開発していないが、開発にはさまざまな設計上の課題が伴うとEiche氏は考えている。他のことをしたり、別のものを見たりして完全には集中していないという人にもアプリが対応するようにしなければならない。
ハプティクス（触覚）とコントローラーはどうなるか
全面的にハンドトラッキングに頼るVision Proは、コントローラーがないだけでなく、振動するハプティック（触覚）フィードバックも一切使っていない。仮想体験において物を「感じる」には、かなり重要な要素だと筆者は考えてきた。真に優れたVRおよびARの構築に向けて、触覚がないことを、Eiche氏は差し迫った懸念だとは思っていない。
Job Simulatorなどのゲームの一部の複雑な3Dインターフェースにおいて、ボタンやレバーといった触覚入力を使うOwlchemy Labs独自のハンドトラッキングは、手の動きと、巧みな音声キューを活用している。Eiche氏からすると、それが一種の仮想触覚として十分に機能しているという。
「今のスマートフォンは、随所に触覚が採用されている」。Eiche氏は、スマートフォンやスマートウォッチについて、こう指摘している。「しかし、それは皆がサイレントモードを使っているからだ。ヘッドセットでサイレントモードを使う人はいないだろう」。同氏は、視覚的なキューと音声のキューが連動すれば、リアルな感触としては十分だと考えており、体験に基づく演技としてコップの水を飲むところを想像してみればいいという。「音と視覚情報が、われわれの脳が理解するために必要な難しい処理の大部分を担ってくれる」
より高度なフィードバックや入力も、別途のコントローラーや入力デバイスで補えるだろう（し、そうすべきだ）。例えば、Metaの「Touch」コントローラー、あるいは「Apple Pencil」や「Apple Watch」の進化版、さらには（ソニーが開発中のMRヘッドセットで採用されているような）リング型コントローラーのようなものが考えられる。
次は、こうした特殊なコントローラーが予想される、とEiche氏は考えている。「これで周辺機器が死に絶えるわけではないと思う。むしろ、周辺機器の再生だろう。触覚グローブを作ったのなら、それを楽しみにすべきだ」
そうした高度な新種のコントローラーとは対照的に、Appleは、6月に開かれるWorldwide Developers Conference（WWDC）24に向けて、「visionOS 2.0」用のさらに高度な3D操作に専念するのかもしれない。それでも、進化したコントローラーが出現しないとは限らない。
「われわれが、Apple Pencilのような機器を使わない操作をできる限りのところまで進められるように願っていてほしい」。Eiche氏は、Vision Proや、おそらくは他のデバイスも、目下のところハンドトラッキングのみにとどまっているMRのことについて、こう話している。「そこまで進んだ方が、Apple Pencilなどの用途ももっと明確になり、洗練されるだろう」
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
