Microsoft MeshでMixed Reality（複合現実）における共有体験を提供：同じ場所にいるような感覚を実現
2021.03.03 Mixed Reality
Share this page on
ジェニファー ラングストン（Jennifer Langston）
本ブログは、米国時間 3 月 2 日に公開された “You can actually feel like you’re in the same place”: Microsoft Mesh powers shared experiences in mixed reality” の抄訳を基に掲載しています。
シルク ドゥ ソレイユ（Cirque du Soleil）の共同創設者、ギー・ラリベルテ（Guy Laliberté）氏は、これまで何年間も数え切れないほど仮想現実技術の提案を受けてきましたが、強烈なビジュアルや魅惑的なライブパフォーマンスを提供する同氏の魔法にかなうものはありませんでした。それが今、マイクロソフトの新プラットフォームによって同氏の考えが変わろうとしています。
ラリベルテ氏は火曜日、マイクロソフトがデジタルカンファレンスとして開催したIgniteにホロポーテーションで登場しました。ホロポーテーションとは、3Dキャプチャ技術を利用して、仮想シーンに実物のようなイメージを映し出す手法です。完全にMixed Reality（複合現実、MR）に対応するよう設計されたマイクロソフト初の基調講演には、世界中のリビングルームや自宅のオフィスから出席者が集まり、共有型ホログラフィックの世界で展開されるイベントをアバターとなって体験しました。
今回のイベントは、Microsoft Meshによって実現できる体験を紹介する初の機会ともなりました。Microsoft Meshは、Microsoft Azureを駆使した新しい複合現実プラットフォームで、物理的に異なる場所にいる人たちがさまざまなデバイス上でコラボレーションしたり共有型ホログラフィック体験に参加したりすることが可能になるものです。
マイクロソフトのテクニカルフェロー、アレックス キップマン（Alex Kipman）は、「これは複合現実を生み出した初期の頃から描いていた夢のアイデアです」と話します。「実際にコンテンツを共有している人と同じ場所にいるような感覚になれますし、別の複合現実デバイスからテレポートして物理的には側にいない人と一緒にいることもできます」 キップマンは、自身を完全にホロポーテーションした状態でIgniteのバーチャルステージに登場し、光線が同氏の体をシミュレーションする中でイベントのオープニング体験をリアルタイムで紹介しました。
映画監督で海洋探検家のジェームズ キャメロン（James Cameron）氏と、拡張現実（Augmented Reality、AR）分野のリーディングカンパニーであるNiantecにてCEOを務めるジョン ハンケ（John Hanke）氏もリモートからキップマンの元に現れ、仮想世界と物理世界で共有体験を構築するにあたってMicrosoft Meshがいかに役立っているか説明しました。
ラリベルテ氏は、同氏が設立したもうひとつの企業であるLune Rougeで取り組んでいるHanai Worldというプロジェクトの実現に向けた新たなコラボレーションについてキップマンと語り合いました。Hanai Worldとは、ラリベルテ氏が何年もかけて検討していたソーシャル複合現実プラットフォームで、エンターテインメントにおけるライブ体験とデジタル体験をひとつのイベントとしてつなげるものです。Microsoft Meshのようなテクノロジが登場したことで、ようやくこのビジョンにテクノロジが追いついたといいます。
Microsoft Meshにより、地理的に離れたチームがより協力的なミーティングを持つことも可能となるほか、バーチャルデザインセッションの実施や人の支援、共同学習、バーチャルなソーシャル会合の開催もできるようになります。参加者はこの共有型バーチャル体験の中でまずアバターとして自己表現し、時間が経てばホロポーテーションを利用して現実の姿に最も近い写真のようなリアルな自分の姿を映し出すようになるといいます。
この新プラットフォームは、マイクロソフトが何年間も手や視線のトラッキングや HoloLens の開発、持続的なホログラムの構築、ＡＩ（人工知能）モデルの作成などに取り組み、表現豊かなアバターを創造しようと研究開発してきた結果誕生したものです。
Microsoft Meshは、マイクロソフトのクラウドコンピューティングプラットフォームであるAzure上に構築されていることから、Azureによるエンタープライズクラスのセキュリティとプライバシー機能の恩恵が受けられるほか、膨大なコンピューティングリソースやデータ、AI、複合現実サービスのメリットも享受できます。
「マイクロソフトは、Azureというインテリジェントクラウドに次々と価値を追加しています」とキップマンは語ります。「このコラボレーション体験では、デバイスやアプリケーション内にコンテンツが存在するのではありません。ホログラフィックコンテンツはクラウド上にあり、特別なレンズを使ってクラウド上にあるコンテンツを見ているに過ぎないのです」
Microsoft Mesh対応のアプリケーションを使えば、自転車から高級家具、ジェットエンジン、新しいスポーツスタジアムに至るまで、さまざまな3D物理モデルを担当するデザイナーやエンジニアが、物理的にどこにいても共有の仮想空間に自分の姿で登場し、ホログラフィックモデルのコラボレーションやイテレーション（反復）ができるようになります。
新しい複合現実プラットフォームであるMicrosoft Meshは、地理的に離れたチームが複合現実上に集まり、参加者が自身のアバターを描写し、チームと共有可能な複合現実セッションを実現することで相互協力を可能にします。
建築家やエンジニアであれば、ホログラフィックモデルを使って建設中の工場フロアを物理的に歩くことも可能です。すべての機器がしっかり合っているか3Dで確認できるため、コストがかかるようなミスの防止にもつながります。
電気自動車のエンジンについて学んでいる工学生や人体解剖学を学んでいる医学生であれば、ホログラフィックモデルの周辺にアバターとして集まり、エンジンの部品を取り外したり筋肉をはがしたりしてその内部を確認することもできるでしょう。単純に仕事仲間同士が集まって共有の仮想空間でチャットすることもできますし、Microsoft Mesh対応のアプリケーションで世界中の従業員にバーチャルな全社会議を開催したりトレーニングを実施したりすることも可能です。
Microsoft Meshプラットフォームは、AIを駆使したフルスイートツールとして数ヶ月以内に開発者に提供される予定です。ツールには、アバターツール、セッション管理ツール、空間レンダリング（spatial rendering）ツール、複数ユーザーの同期ツール、ホロポーテーションツールなどが含まれ、これによって複合現実のコラボレーションソリューションが構築できるようになります。
複合現実や仮想現実において最もリッチな体験が得られるのはユーザーですが、Microsoft Meshのオープンスタンダード性により、開発者も多くのデバイスに対応するソリューションを構築できるという自由が堪能できます。対応するデバイスは、HoloLens 2や、さまざまな仮想現実（VR）ヘッドセット、スマートフォン、タブレット、PCなどです。
マイクロソフトはIgniteにて、Microsoft Meshプラットフォームで構築された2つのアプリケーションを発表しました。そのひとつはHoloLens用Microsoft Meshアプリのプレビュー版で、ダウンロードできるようになっています。これにより、チームメンバーがリモートでコラボレーションできるようになります。また、Meshに対応したAltspaceVRの新バージョンを希望されるお客様は、そのアクセスをリクエストすることもできます。AltspaceVRにより、セキュアサインインやセッション管理、プライバシーコンプライアンスといったエンタープライズクラスのセキュリティ機能を備えた会議や仕事の集まりが仮想現実にて開催できるようになります。
マイクロソフトでは、今後外部の開発者やパートナーが構築したMicrosoft Mesh対応アプリケーションが次々と登場し、お客様はその中から選択できるようになると期待しています。また、Microsoft TeamsやDynamics 365などマイクロソフト製品との統合も計画していることから、統合によるメリットも受けられると考えています。
「複合現実をコラボレーティブコンピューティングにおける次世代の大きな媒体（the next big medium）と捉えて情熱を注いでいるのはそのためです」とキップマンは話します。「2人が同じホログラムを見ているなんて魔法のようです」
共に世界を探索
これまでに建造された研究深海探査船の中で最先進クラスとなるOceanXplorerの船内には、同船体の機器やカメラから継続的に収集される新たなデータで学びを得ようとする科学者を全員収容するスペースはありません。こうしたデータからは、サンゴ礁や塩水プール、熱水噴出孔周辺の海の生物、海底火山周辺の鉱物など、さまざまなことが証明できるのです。
Igniteでは、OceanXがマイクロソフトと新たに協業すると発表しました。OceanXは、最先端の科学と説得力のあるストーリーおよび製品、そして技術体験を組み合わせることで、海洋教育と海に対する意識の向上を目指す非営利団体です。この協業により、Mesh対応の「ホログラフィックラボ」を船上に設置し、科学者が直接集まったり世界中の研究室やオフィスからバーチャルに集まったりして、航海エリアの3Dホログラムを見ることができるようになります。
IgniteではマイクロソフトとOceanXの新たな協業が発表され、Microsoft Meshを活用した「ホログラフィックラボ」をOceanX所有の探査船である「OceanXplorer」に搭載する計画が共同で進められています。
例えば、マッコウクジラが特定の場所で狩りをする理由を調べている研究者が、クジラに付けたタグから収集したデータでホログラフィック化された深海の峡谷を確認、それを塩分濃度や温度、海洋化学変化などの情報と重ね合わせ、イカなどの獲物がどこにいるかを示す魚群探知機のデータと統合することもできます。
OceanXの副会長、ビンセント ピエリボーン（Vincent Pieribone）氏は、「われわれが収集しているすばらしい科学的データをホログラフィック環境に投入し、科学ミッションをリアルタイムに導く手法として活用しようという考えです」と述べています。
目標としているのは、Microsoft Meshを使用することでHoloLens 2やその他の互換デバイスを持った研究者がアバターとして机の周りに集まり、ホログラフィック上の海底から疑問に感じる特定エリアを指差してリアルタイムに他の研究者と目の前の状況について対話できるようにすることです。
OceanXの研究ミッションでは、多くの人がビデオを囲んで質問したり、同僚同士で雑談したりすることがよくあります。船上にいない研究者は、同じビデオをオフィスのスクリーン上で見ていても、こうした対話の恩恵を得られるとは限らないとピエリボーン氏は話します。
「これには社会的な部分があって、必要なものなのです」とピエリボーン氏。「全員を同じ『部屋』に集めることで、お互いに対話できるようになり、人間的なつながりが持てるようになるのです」
完全に異なる分野に探索の域を広げた企業がNianticです。同社はIgniteにて、HoloLens 2上で稼働するPokémon GOの概念実証（proof-of-concept）デモ体験を披露しました。これは、マイクロソフトとNianticの複合現実と拡張現実の機能によって構築した新たなコラボレーションのビジョンを紹介するため設計されたものです。
コンシューマー向け製品のデモではありませんが、このデモではハンケ氏がお気に入りの公園に集まるポケモンらと共に、Pokémon GOのプロダクトマーケティングマネージャーであるベロニカ サロン（Veronica Saron）氏と合流、共有型複合現実セッションにてバトルを繰り広げました。
ハンケ氏によると、Nianticのミッションは、人が交流して共に世界を探索できるようなテクノロジを生み出すことだといいます。これには、子どもたちがPokémon GOを使って親や友人と一緒に近所を探索することや、何千人もの人たちが公園に集まってお祭りをすることも含まれます。
「Microsoft Meshは、それを実現する全く新しい手法を提供してくれます」とハンケ氏は話します。「バーチャルな友達と一緒に出かけたり、散歩したり、世界を探索するという考えはとにかく魅力的で、これで何ができるかとても興味があります」
このデモは、Pokémon GO体験の可能性を示すものです。その体験は、現実の世界で何百万人もの人が拡張現実を体験できるようになったNianticの地球規模プラットフォーム上に構築されています。また、Microsoft Mesh機能で強化され、HoloLens上で実行することにより、空間と時を越えた共有体験上でさまざまな人が一緒にいられるようになっています。
「この協業におけるNianticの役割は、デジタルの世界と物理的な世界を縫い合わせ、コンピュータと物質それぞれの細かな部分をつなげることです。Nianticプラットフォームでそのような体験が実現するのです」とハンケ氏。「とはいえ、Niantecの取り組みすべての中心にあるのは社会的なつながりです。Microsoft Meshのイノベーションはそのつながりをより豊かにしてくれます」
人同士のつながりにおけるもうひとつの層
シルク ドゥ ソレイユのラリベルテ氏が設立したケベック州のLune Rougeは、Microsoft Meshによってバーチャルでコンサートや演劇、DJイベントに参加したり、遠隔地から家族のお祝いに参加したりする方法を模索し始めています。
Hanai Worldプロジェクトは、「誰かを家族にする」を意味するハワイ語が由来で、デジタルと物理的なエンターテイメント体験の間に新たなつながりを構築することを目指しています。
その目的は、世界中のエンターテイメント会場をデジタル上に描写し、ライブパフォーマンスをかなり忠実に3D撮影することで、同じイベントをライブ会場でもリビングルームからでも体験できるようにすることです。リビングの場合は複合現実や仮想現実で体験します。プラットフォーム上では、さまざまなメディアやジャンルから、Lune Rougeのコンテンツとユーザーが作成したコンテンツを組み合わせてキュレーションします。
Lune Rougeのプロダクション担当エグゼクティブディレクター、アレクサンドル ミアスニコフ（Alexandre Miasnikof）氏は、「これはライブエンターテイメントをうまく補完するものとなるでしょう」と話します。「これにより、人同士のつながりにもうひとつの層ができ、地理的な理由やアクセス手段等の理由で普段イベントに参加できない人にも娯楽を提供できるようになります」
西海岸と東海岸という離れた場所に住む2人の友人が、アバターとして同じコンサートに参加して一緒にイベントを楽しんだり、もしかするといつの日か、他国に住む祖母がホロポーテーションによって家族の集まりにリアルタイムで参加・交流したりすることも可能になるかもしれません。
「今言えるのは、これが実現すると約束できることです。ただ、どれだけ短期間で実現できるかはまだわかりません」とミアスニコフ氏は語ります。「それでも、Microsoft Meshという良い基盤があるので、そこから構築していきます」
まさにそれが目的だとキップマンは述べています。つまり、これまでは実現不可能だ、または時間がかかりすぎるとして却下されていたソリューションが、Microsoft Meshプラットフォームによってより簡単に構築される様子を見届けることを目指しているというのです。
「コンピューティングに新たな媒体を取り入れるにあたって実際に必要なことを考えると、エコシステム全体に深く投資しなくてはなりません。それこそ、マイクロソフトが行ってきたことなのです」とキップマンは語ります。
「みなさんにはこのプラットフォームにお越しいただき、その上で価値を構築することで、マイクロソフトの長年にわたる研究開発によってすぐに使える機能を提供できるようにしたその恩恵を受けていただきたいと思います」