次世代オンライン遠隔医療システムの開発・提供で 長崎大学、五島中央病院、長崎県、五島市と連携協定を締結
2021.03.03 Mixed Reality
Share this page on
Mixed RealityとAIの活用により、専門医過疎地域に高水準で均てん化された医療を提供
日本マイクロソフト株式会社（本社：東京都港区、代表取締役 社長：吉田 仁志、以下 日本マイクロソフト）は、次世代オンライン遠隔医療システムの開発・提供において、国立大学法人 長崎大学（学長：河野 茂、以下 長崎大学）、長崎県五島中央病院（院長：竹島 史直、以下 五島中央病院）、長崎県（知事：中村 法道）、五島市（市長：野口 市太郎）と連携協定を締結しました。5者では、本連携における最初のプロジェクトとして、関節リウマチ患者を対象とした遠隔医療の実用化に向けて、Mixed Reality（複合現実）を活用した国内初の次世代型オンライン遠隔医療システムとして、長崎大学関節リウマチ遠隔医療システム「NURAS」 (ニューラス、Nagasaki University Rheumatoid Arthritis remote medical System)を開発し、本日より長崎大学病院（長崎市）と五島中央病院（福江島）において実証実験を開始しました。
今後5者では、本実証実験で得たノウハウ・経験を広く共有したり、他の疾患でも活用できるよう本システムを改良したりすることで、高水準で均てん化された医療や利便性の向上、また、患者の移動を減らすことによる、新型コロナウイルス感染症（COVID-19）等の感染症の拡大防止に貢献していきたいと考えています。
長崎大学関節リウマチ遠隔医療システム「NURAS」の概要：
NURASは、専門医過疎地域である離島・へき地など遠隔地にいる患者が、Mixed Realityなどの活用により、リウマチ専門医による遠隔医療を、これまでよりも高い精度で受けることが可能となるシステムです。従来のテレビ電話あるいはWeb会議システムを用いても遠隔医療は可能ですが、関節を中心とした病変部位を平面映像（2D）だけで観察および類推することしかできず、関節リウマチ診療に不可欠である正確な関節評価を行うことは困難です。本システムでは、マイクロソフトの「Azure Kinect DK」を深度センサーとして患者の前に置き、Mixed Realityを実現するデバイス「Microsoft HoloLens 2」を専門医が装着、コラボレーションツールの「Microsoft Teams」を使ってビデオ会議を行うことで、平面映像だけでは評価が困難な病変部位を立体的（3D）かつリアルタイムに観察・評価できるようにしました。
Azure Kinect DKは、被写体の立体的な動画を撮影できるカメラです。Azure Kinect DKを用いることで、医師が装着したHoloLens 2に投影される 3D ホログラムを、高精度かつリアルタイムに生成できるほか、Azure Kinect DKに内蔵された7つのマイクロフォン アレイで、音源の方向を含めたクリアな音声を録音できます。また、厚生労働省、経済産業省、総務省が所管する“3省3ガイドライン”に準拠しているクラウドプラットフォーム「Microsoft Azure」を通じて、撮影された患部の映像、および録音された患者と医師の会話などのデータはセキュアに処理されます。これにより離島・へき地といった専門医過疎地域においても高水準で均てん化されたリウマチ専門遠隔医療が可能になります。
NURAS の利用シーン
＜五島中央病院：かかりつけ医と患者の患部Azure Kinect DK でスキャンする様子＞
＜長崎大学病院：専門医によるHoloLens 2 を用いた診察＞
今後の展開
本システムは、国内60～100万人と推定されている関節リウマチ患者のみならず、その他の神経疾患や運動器疾患など、患者と対話を行いながら病変部位の観察や運動評価が必要な分野にも応用できます。今回は長崎大学病院と五島中央病院をネットワークでつないで実証実験を行いますが、ネットワーク接続が可能なあらゆる地域と専門医を結ぶことができることから、国内外において、新型コロナウイルス感染症流行下における遠方通院時の感染リスクや通院に伴う人の移動の削減、さらに医療従事者の働き方改革にも貢献できると考えています。将来的には5Gによる高速通信技術との連携や、現在はコロナ禍で難航している学生の実習を中心とした教育や研究を含む他分野への発展も予定しています。
また、2021年3月下旬には、本システムに人工知能（AI）を適用し、診察時の患者の表情の変化を素早く捉え自動的に患者の心情（不安や満足度など）を評価する機能や、患者との対話を時系列に文章で記録する機能などを実装する予定です。Microsoft AzureのAI機能である「Azure Cognitive Services」を活用することでセキュアかつ信頼性の高い推測と提案を行います。AIから得られたそれらのデータを参照し、物理的に離れた患者と医師との心理的な距離を縮めることによって、患者本人の生活の質の向上にも役立てられると期待しています。
<AIによる患者の心情の評価・対話を時系列で文書に記録するアプリケーション>
本日実施した協定締結式の様子
向かって左: 長崎大学 学長 河野 茂氏、画面左上から時計回り: 長崎県医療人材対策室長 加藤 一征氏、五島市長 野口 市太郎氏、五島中央病院 事務部長 藤野 弘幸氏、日本マイクロソフト 執行役員 最高技術責任者 榊原 彰
関連リンク：
日本マイクロソフトからの発表はこちら
HoloLens 2 の詳細はこちら
Azure Kinect DK の詳細はこちら