案内ロボットにおける自然な多言語コミュニケーション機能の開発

  公益財団法人JKA補助事業 RING!RING!プロジェクト (2019.4-2021.3)


研究概要

    本研究では、多言語による自然なコミュニケーションを行う案内ロボットを実現するため、ビーコンを用いた使用言語取得機能、および使用言語推定のための多言語会話機能の開発を行った。ビーコンによる方法は利用者のスマートフォンの設定言語情報を取得することで利用者の使用言語を特定し、多言語会話による方法はロボットが主導する会話の返答を通して利用者の使用言語を推定する。これらの機能をソフトバンク社のPepper、ヴイストン社のSotaの既存のコミュニケーションロボットのインタフェース機能として実装し、実証実験を通して、提案手法の有効性評価を行った。

     (1)ビーコンを用いた使用言語取得機能の開発 ビーコンを用いた使用言語取得機能の基本原理は、コミュニケーションロボットにiBeaconを取り付け、iBeaconの信号の受信をトリガーとして、ユーザの所有するスマートフォンの設定言語情報をバックグラウンドでサーバに送信する。ロボットは一定時間間隔でサーバにアクセスし、サーバに送信された言語情報を参照することで、自身の近くにいるユーザの使用言語を特定する。本研究では、コミュニケーションロボットとしてソフトバンク社の人型ロボットPepperおよびヴイストン社の小型ロボットSotaを対象に、本機能の実装を行った。

     

     (2)使用言語推定のための多言語会話機能の開発 ロボットの設定言語が利用者の発する言語と一致していない場合、ロボットは利用者の発話を正しく理解することができない。ロボットは設定されている言語モードでもっとも近い言葉に当てはめて言語を認識しようとするため、この聞き取り単語をデータベース化することで、利用者の言語推定に利用することができる。本研究では、日本語、英語、中国語の間で、ロボットの言葉を理解できない場合のユーザの返答をそれぞれデータベース化することで、ロボットが会話を通して利用者の使用言語を推定し、設定言語を切り替える機能をPepper、Sotaを対象に実装を行った。

     

     (3)コミュニケーションロボットを用いた実証実験 開発した提案手法を検証するための実証実験として、コミュニケーションロボットSotaを使用した大学内でのプロジェクタ貸出しシステム、Pepperを使用した大学内での教室案内システムへの応用を行った。プロジェクタ貸出しシステムは、データベースによるユーザ情報とプロジェクタの管理データベースと連動した会話を多言語で行う。教室案内システムは大学への訪問者に対してジェスチャを用いながら多言語で場所の案内を行う。実験では、日本人学生および外国人留学生にシステムを使用してもらい、言語切替えの正確さ、自然さ等についてアンケートに答えてもらい、概ね良好な評価が得られた。

     


発表論文
    ・Kei Matsuoka, Yuki Kida, Tetsuro Ogi: Detection of User’s Language Based on Beacon Technology in Multilingual Communication Robot, iDECON 2020(9th International Conference on Design and Concurrent Engineering), 2020. (pdf)
    ・木田勇輝、松岡慧、小木哲朗:ユーザの使用言語を自動推定する多言語コミュニケーションロボット、日本機械学会 第30回設計工学・システム部門講演会講演論文集、No.20-14、2020. (pdf)
    ・大村正太郎、佐久間達也、木田勇輝、松岡慧、小木哲朗:新しい生活様式支援のためのコミュニケーションロボットの利用、日本機械学会 第30回設計工学・システム部門講演会講演論文集、No.20-14、2020. (pdf)
    ・松岡慧,木田勇輝,小木哲朗:案内ロボットのBeacon連携による多言語コミュニケーション、第40回 テレイマージョン技術研究会、オンライン、2020.6.
    ・Yuki Kida, Fan Wu, Kei Matsuoka, Tetsuro Ogi: Multilingual Guide Robot Using Conversation-Based and Smartphone-Based Language Identification, International Conference on Design and Concurrent Engineering 2021 & Manufacturing Systems Conference 2021 (iDECON 2021/MS2021), Online, 2021.
    ・木田勇輝、呉凡、松岡慧、小木哲朗:人と自然なコミュニケーションを行う多言語案内コミュニケーションロボット、日本機械学会 第31回設計工学・システム部門講演会講演論文集、No.21-4、オンライン、2021.9.15-17