本研究では、アバタロボットを用いたテレイマージョン技術の開発として、アバタロボットの3次元視聴覚情報の伝送技術の設計開発、ジェスチャに基づいた直感的なアバタロボットの制御技術の設計開発、アバタロボットを介した音声会話技術の設計開発、および要素技術に関する検証実験の実施と評価、統合システムによる実証実験の実施と評価を行った。

（１）アバタロボットの3次元視聴覚情報の伝送技術の設計・開発
アバタロボットを用いたテレイマージョンを実現するために、アバタロボットの視聴覚情報を、遠隔ユーザに臨場感を伴って提示する必要がある。本研究では、アバタロボットとして、ソフトバンク社のPepperを使用した。Pepperにはもともと視覚情報を取得する目としてカメラが内蔵されているが、このカメラでは視野角が小さく、遠隔ユーザが周囲を見回す際にロボットの首の動きをインタラクティブに制御する必要があり、ロボットの動作制御による時間遅れが生じる。そのため、ロボットに外付けの360度カメラを設置し、ロボットの首の動きを待たずに遠隔ユーザが周囲をすばやく見回せる構成とした。 プロトタイプシステムとしては、市販の360度カメラであるリコーのTHETA VをPepperのボディのディスプレイ部分に取り付け、実証実験に使用した。THETA Vでは周囲の360度映像と音情報を同時に取得し、遠隔ユーザは臨場感を伴って視聴覚体験を行うことができる。遠隔ユーザは360度映像を見回すためにHMD（Head Mounted Display）ディスプレイとしてOculus Quest 2を使用した。システム構成としては、360度カメラで撮影された全周映像と音声をスティックPCからSkyWayを使用しWebRTCのP2PでHMDに送信し、HMD側では受け取った音声を提示すると同時に、360度映像をA-Frameで記述された仮想球モデルにリアルタイムでビデオテクスチャとして貼り付ける。これにより、ユーザは仮想球内に提示された全周映像をHMDを使用して自由に見回すことが可能になる。

　

（２）ジェスチャに基づいた直感的なアバタロボットの制御技術の設計・開発
遠隔ユーザがアバタロボットに乗り移ったような感覚を持つためには、身体的な動きをロボットに伝送し、アバタロボットの動作として再現できることが必要である。このジェスチャ表現を直感的に行うことができることで、ユーザはアバタロボットに対して自分の身体であるという身体所有感やアバタロボットを自分で動かしているという運動主体感を持つことが可能になると考えられる。そのため、ここではユーザの全身によるジェスチャをセンサで計測し、ジェスチャ情報をロボットに送信し、ロボットの姿勢をリアルタイムに制御する仕組みを開発した。 ユーザのジェスチャを計測するセンサとしては、Microsoft Kinectを使用した。Kinectでは、ボディトラッキングの機能により、深度カメラと身体のスケルトンモデルをもとに骨格検出を行う。この機能を使用し、ユーザの各関節位置と関節角に関する情報を算出し、対応するロボットの関節を動かすことができる。 この際、ロボットと人間との間では、関節の自由度、動作範囲の違いがあるため、計測データをロボットの動作範囲内の関節角度に変換して制御を行う必要がある。人間の腕は肩3自由度、肘2自由度、手首2自由度を持つが、Pepperの腕は肩2自由度、肘2自由度、手首1自由度である。また各関節の可動範囲についても、Pepperの可動範囲は人間の可動範囲より小さい。そのため、センサでは人間の各関節角度を算出するが、ロボット側では使用可能な自由度と可動範囲に制限を付けて制御を行った。

　

（３）アバタロボットを介した音声会話技術の設計・開発
アバタロボットを介して人とコミュニケーションを行うためには、遠隔ユーザの音声をアバタロボットに発話させる機能が必要である。音声の出力方法としては、ユーザの声をそのままスピーカで出力する方法も考えられるが、使用したロボットPepperは声の特徴がよく知られており、人間の自然な音声を出力することで、かえって違和感が感じられることから、ユーザの音声をPepperの音声に変換して出力する方法を採用した。 ユーザの音声は、Web Speech APIを使用して音声認識を行い、テキスト情報に変換してサーバに送信する。Pepperはサーバを常にチェックし、会話のテキスト情報が送られると、テキスト情報に従った発話を行う。この際、発話情報は一度テキストに変換されるため、テキストレベルで自動翻訳を行うことが可能になる。Pepperはもともと言語切替により、日本語、英語、中国語等の会話モードを持っている。ここではDeepL APIを使用した機械翻訳のアプリケーションを作成し、サーバ上で日本語と英語の間の機械変換を行う仕組みを実装した。これによって、遠隔ユーザが英語で発話した内容をアバタロボットが日本語で発音する、あるいは遠隔ユーザが日本語で発話した内容をアバタロボットが英語で発音することが可能になる。

（４）要素技術に関する検証実験の実施と評価
開発を行ったアバタロボットを用い、各要素技術およびテレイマージョンの没入感覚について評価を行うため、検証実験を行った。検証実験としては、被験者に遠隔ユーザとしてアバタロボットを操作してもらい、現実空間にいるユーザに色で指示された机の上のファイルを、遠隔の被験者がアバタロボットを介して指差し動作により確認を行うというタスクを行った。この際、身体所有感（アバタロボットを自分の身体と感じる感覚）、運動主体感（アバタロボットを自分が動かしていると感じる感覚）、プロテウス効果（アバタロボットの見かけが自分の心身や行動に与える影響）等のアバタに関する心理的評価と、自分とロボットとどちらが相手と同じ場所に居ると感じるか、自分とロボットのどちらが相手と共同作業を行っていると感じるか等の感覚について、被験者に対するアンケートを行った。 実験結果より、机の上のファイルを選ぶ動作に関してはほぼ正しくに相手に伝わり、アンケート結果からは、被験者は、自分が操作している遠隔ロボットよりも、自分自身が現場のユーザと同じ場所に居て、現場のユーザと共同作業を行っている感覚を有意に高く感じていることが示された。また、アバタロボットに対する身体所有感、運動主体感、プロテウス効果に対する質問に関しても、7段階中5点前後の評価が得られ、これらの結果からある程度高いテレイマージョン感覚を生成できたと考えることができる。

　

（５）統合システムによる実証実験の実施と評価
構築したアバタロボットを用いたテレイマージョンシステムを具体的な応用場面に適用した実証実験による評価を行った。実証実験としては、アバタロボットを使用し、大学院の新入生に対する研究紹介を行った。具体的には、実験室に存在するアバタロボットPepperを遠隔から在学生に操作してもらい、新入生に対して研究の紹介を行ってもらう。また、各新入生からは内容に関する質問を行ってもらい、アバタロボットが答えるという質疑応答を行ってもらった。実験後に、アバタロボットを操作する在学生および説明を聞く新入生に、それぞれアンケートに答えてもらった。 　遠隔ユーザからは、自分が新入生と同じ場所にいる感覚が得られていたことが示されたが、説明を聞く現場のユーザからは、遠隔ユーザと会話を行っている感覚より目の前のアバタロボットと会話を行っている感覚が強いことが示された。このことは、遠隔ユーザがロボットとして、現場のユーザとコミュニケーションを取っていたことが示唆される。また自然なコミュニケーションが取れた、このシステムを使用したい等の質問に関しては概ね好意的な回答が得られた。一方、質疑応答のセッションでは返答に遅れがあることが指摘され、これはテキスト情報を介して会話を行っていることが原因であり、今後の課題として考えられる。