本研究では、現実世界に存在するいろいろなモノを擬人化し、遠隔ユーザと現場のユーザが臨場感の高いコミュニケーションを行う手法としてIoTアバタの開発を行った。また、複数のIoTアバタを配置し、接続先を切り替えることで、移動するユーザに対しても継続的な会話が行えることを評価実験を通して検証を行った。

（１）IoTアバタデバイスの開発
IoTアバタは、現実世界に存在するモノにIoTデバイスを取り付けることで、モノ自体をアバタ化する技術である。そのためIoTアバタデバイスに求められる機能としては、アバタになり得るために、目としてのカメラ機能、耳としてのマイク機能、口としてのスピーカ機能および遠隔ユーザとの通信機能を持ちながら、できるだけ小型でデバイス自体が存在感を持たないことが必要である。
IoTアバタを構成するハードウエアとしては、シングルボードコンピュータRaspberry Pi4 Model Bをベースに、3Dプリンタで製作したケース内に、360度小型カメラVR 220、小型USBマイク、小型Bluetoothスピーカ、LEDを配置したデバイスを構築した。外形寸法は、63mm×92mm×38mmであり、小型のデバイスとして構成することができた。
IoTデバイスと遠隔ユーザの間では、映像、音声の通信を行う必要があるが、この通信方法としてはWebRTC(Web Real-Time Communication) プラットフォームのSDKであるNTTコミュニケーションズのSkyWayを使用した。IoTアバタデバイスから送られる360度映像は、HMD側ではWebVRフレームワークであるA-Frameを用いて、仮想球内にリアルタイムでテクスチャマッピングすることで、遠隔ユーザはカメラの周囲の映像を自由に見回すことが可能になる。図１は製作したIoTアバタデバイスの外観、図２は360度映像をMetaのQuest3のHMDを使用して見回している遠隔ユーザの様子を示したものである。

　
図１. IoTアバタデバイスの外観 　　　　　　　　　図２. HMDを使用した遠隔ユーザの様子

（２）擬人化コミュニケーションの評価
IoTアバタは、デバイスを取り付けたモノが擬人化されて現場のユーザに感じられ、遠隔ユーザは自分自身がモノになりきった感覚を得られることが必要である。ここでは、会議室のホワイトボードと部屋のドアにIoTアバタデバイスを取り付け、コミュニケーション実験を行った。ホワイトボードにIoTアバタデバイスを取り付けた場合は、現場のユーザはホワイトボードにいろいろな絵を描きながらホワイトボードと会話を行い、ドアに取り付けた場合は、ドアが入り口で相手を確認してドアを開けるかどうかの会話を行った。この際、遠隔ユーザの声は、誰だか分からなくするためロボット調の音声に変換を行った（図３）。


図３. IoTアバタを使用した評価実験の様子

実験では、被験者が現場のユーザとしてIoTアバタと対峙する場合と、遠隔ユーザとしてIoTアバタを操作する場合について、擬人化感覚に関する評価を行った。被験者は10人で、それぞれの場合について実験後に擬人化感覚に関するアンケートに対して７段階のリッカート尺度で答えてもらった。図４、図５は、被験者の回答結果を示したものである。この結果から、現場のユーザは会話の相手を遠隔ユーザではなく目の前のモノと認識している意識が有意に高く、遠隔ユーザも自分としてではなくモノとして会話を行っている意識の方がやや高く、擬人化されたモノとのコミュニケーションが行われていることが示された。またこの実験に先立って予備実験として音声変換を行わない場合についても実験を行ったが、モノに成りきる感覚、モノと会話を行っている感覚は、音声変換を行った場合の方が高くなることが示された。

　
図４. 現場の被験者のアンケート結果　　　　　　　図５. 遠隔の被験者のアンケート結果

（３）マルチIoTアバタ環境の構築
IoTアバタは既存のモノをアバタとして利用するため、アバタロボットのように移動することができない。そのため、複数のIoTアバタデバイスに対して、遠隔ユーザが接続先を切り替えることで、移動する現場のユーザと継続的にコミュニケーションを行う環境を構築した。IoTアバタは、NTTコミュニケーションズのSkyWayを使用しRoomを介した映像と音声の送受信を行っている。そのため、複数のIoTアバタデバイスとの切り替えを行うためには、IoTデバイス毎にRoomを用意し、遠隔ユーザが接続するRoomを切り替えることによって、IoTアバタの切り替えを行う方法を用いた。
この際、遠隔ユーザが見渡す360度映像の中に他のIoTアバタデバイスの位置を丸いアイコンで表示し、遠隔ユーザはコントローラを用いてアイコンを選択することで、接続先を切り替えることとした。この方法によって、遠隔ユーザは切り替えるIoTアバタデバイスの位置とその対象が何であるかを確認して移動することができるため、自分が今どこにいて、何になりきった会話をすればいいのかを把握しながら、コミュニケーションを続けることが可能になる。図６は、遠隔ユーザのHMDの視界の中に表示されたアイコンを示したものである。


図６. 丸いアイコンで示された他のIoTアバタデバイス

複数のIoTアバタとの接続を切り替える場合、接続が切り離されたIoTデバイスは会話が出来なくなる。そのため、生成AIを用いた自動会話のモードを開発した。生成AIの実装については、OpenAI Realtime Console及びRealtime APIを使用し、ユーザの音声入力に対してリアルタイムで応答する仕組みとした。生成AIによる会話は、自分が何であるか、どういう会話を行うかをあらかじめプロンプトとして与えることで、設置場所にあった自然な会話を生成することができる。図７は、生成AIを含めたマルチIoTアバタ環境のシステム構成を示したものである。


図７. マルチIoTアバタ環境のシステム構成

（４）実証実験による評価
開発を行ったマルチIoTアバタ環境を用いた継続的なコミュニケーションに関する実証実験として、大学の建物内におけるエレベータホールから実験室までの経路案内の実験を行った。実験では、IoTアバタデバイス3台を、エレベータホールの消毒液のボトル、廊下に置かれたデジタルサイネージ、実験室のドアにそれぞれ設置し実験を行った。実験者が遠隔ユーザとして案内を行い、10人の被験者は現場のユーザとして建物内の移動を行った。図８は実験で用いたIoTアバタを示したものである。


図８. 消毒液ボトル、デジタルサイネージ、ドアに設置されたIoTアバタ

また実験後に、被験者に対して会話の継続性や案内されている感覚についてアンケートに答えてもらった。図９は回答結果を示したものであるが、Q5、Q6の回答の値が高かったことから、実験の目的である、マルチIoTアバタによる道案内は効果的に行われたと考えられる。またQ3、Q4の回答がある程度高いことから、被験者は連続的な会話が行われたと感じていたことが示された。しかしながらQ1、Q2の回答を比較すると、目の前のモノでは無く遠隔ユーザと会話している意識の方が高かったことが分かる。これは移動案内という実験のタスク上、一つのモノとの会話時間が短く、会話が連続して行われたことから、アバタ化された個々のモノへの意識が低くなったことが理由と考えられる。この対策としては各アバタに対する擬人化の程度を高め、モノの個性を表現する等の対策が考えられる。

　
図９. 経路案内の実験のアンケート結果