研究内容

ヒューマンインタフェース、バーチャルリアリティ(VR)、臨場感コミュニケーション、ビッグデータ分析等の技術をベースに、次世代の情報・通信・メディアシステムのデザインに関する研究を行っています。没入型ディスプレイを用いた空間共有、インタラクティブなデジタルサイネージ等の研究領域から博物館、健康ライフログ、地域の活性化等の社会への応用まで、幅広い視点で研究を行っています。


最近の主な研究は以下の通り。

研究プロジェクト

  • 「アバタロボットを用いたテレイマージョン技術の開発」  公益財団法人JKA 競輪とオートレースの補助事業 (2022.4-2024.3)
  • 「メタバース空間におけるアバタを用いた身体知の学習支援方法の構築」    日本学術振興会:科学研究費補助金 (基盤研究C) (2024.4-2027.3)
  • 「擬人化コミュニケーションのためのIoTアバタデバイスの開発」  公益財団法人JKA 競輪とオートレースの補助事業 (2024.4-2026.3)



実写ベースのドームコンテンツ制作方法
全天周のドーム用コンテンツ制作では、CGやアニメベースの映像だけでは制作コストが大きくなる。本研究では360度カメラで撮影した全天周の実写映像をドームディスプレイで投影するドームコンテンツ制作手法を構築した。スポーツの臨場感観戦、バーチャル旅行、災害体験のアーカイブ等、種々の分野への適用が期待される。

詳細

国際宇宙ステーションとの高臨場感通信実験
広帯域ネットワークと高解像度3Dディスプレイを用いた高臨場感コミュニケーションに関する研究を行っている。2012年11月には国際宇宙ステーション(ISS)に滞在していた星出宇宙飛行士との間で、IP映像伝送、2D/3D映像変換、パラレルリアリティ等の技術を使用し、3D映像を用いた高臨場感コミュニケーション実験を行った。

詳細

インフォーマルコミュニケーション
組織における知的生産の向上において、喫煙室等でのインフォーマルなコミュニケーションの重要性が指摘されている。本研究では、魚眼カメラ付タイルドディスプレイを用い、遠隔地の相手の姿を見ながら、タッチやジェスチャインタラクションを用いたインフォーマルなコミュニケーションを支援するシステム開発を行っている。

詳細

デジタル3D浮世絵
2次元的な表現を基本とする浮世絵は、江戸時代中期には遠近法等の概念を取り入れ、覗き絵や立版古等の3次元的な表現が行われた。本研究ではレイヤ分割、イメージベーストレンダリング等の現在のデジタル技術を用いることで、浮世絵という古くからの日本文化のデジタル3次元表現を行うことで、日本文化への興味の喚起を目指している。

詳細

被災地の臨場感アーカイブ
東日本大震災の被害の状況を人々の記憶から風化させずに、記録としてだけではなく記憶としても残すため、臨場感の高いアーカイブ方法の手法の確立が必要である。本研究では高解像度の360度のパノラマ映像として被災地の状況を記録し、CAVE等の没入型ディスプレイを用いて高い臨場感で追体験するための方法を構築した。

詳細

デジタルミュージアム
博物館において、単にモノを展示するだけではなく、歴史を遡り当時の人々の生活の営みや息づかい等の雰囲気を五感に伝える展示手法を目指している。ハーフミラーを用いた空間型AR技術を用いることで、展示物とCG映像を融合したり、説明員の人物映像をアニメーションCG映像の中に融合する展示表現の開発を行っている。

詳細

携帯型ARシステムの開発
携帯型プロジェクタを用いることで、現実空間の中で利用者の位置や対象物に応じて必要な情報の付加提示を行う携帯型ARシステムの開発を行っている。システムはUSBカメラ、ノートPC、携帯プロジェクタを組み合わせ、PlaceEngineによる位置情報検出、AR Toolkitマーカによる姿勢検出をもとに運動視差の効果を利用した映像提示を行う。

詳細

デジタルガイドマップの開発
タイルドディスプレイの高解像度映像表示をベースとしたデジタル案内システムとして日吉のレストランガイドマップの開発を行っている。公共空間の中でID識別のできない利用者に対し、多数の利用者の過去の断片的な利用履歴から確率密度分布に従ったレコメンデーションを行う方法を開発し使用している。

詳細

没入型ドライビングシミュレータ
高齢者ドライバの安全運転力トレーニングを目的とした没入型ドライビングシミュレータの開発を行っている。運転台をK-Caveの中に配置することで、狭路右折等の状況での覗き込み等のドライバの頭部の動きを正確に再現することができ、同時にドライバの運転行動や視線の動き等をセンサで計測することで、運転行動分析に利用することができる。

詳細

コンサートの臨場感伝送実験
高解像度立体視映像+5.1chサラウンド音響のリアルタイム伝送により、コンサートの臨場感伝送に関する研究を行っている。2010年大晦日にはベートーベン交響曲の演奏を上野文化会館から日吉キャンパス協生館への伝送実験を行い、観客の脳波、心電図、皮膚温度等の生体情報計測を行い、伝送される臨場感の定量化を行っている。

詳細

ドーム環境における空間映像の生成方法
プラネタリウム等のドーム環境では広視野の大画面映像を提示することで立体メガネを用いずに奥行感のある空間映像を知覚することができる。本研究ではドーム環境で知覚される奥行感を心理物理実験により定量化し、その効果を用いたレイヤ分割法による空間映像の生成方法の開発を行った。

詳細

地震データのビジュアルデータマイニング
データインテンシブ・サイエンスのアプローチとして、膨大な地震計測データに対するビジュアルデータマイニングのフレームワークの開発を行っている。4K立体視ディスプレイを用い、場所、時間、スケール、b値等のパラメータを変えながらインタラクティブに可視化分析を行う。

詳細

ビデオアバタ・コミュニケーション
ネットワーク仮想空間の中でのコミュニケーション手段として、利用者の姿をビデオカメラで撮影し人物像を送受信して、共有仮想空間の中の3次元位置に合成するビデオアバタ技術の開発を行っている。没入型仮想空間の中でこの手法を利用することで、設計データや可視化映像を共有しながら臨場感の高い協調作業を実現することができる。

詳細

サイバースペースを用いたプロジェクトマネジメント
Wonderlandで構築されたサイバースペースを用い、ソフトウエア開発のプロジェクト管理を支援するシステムの開発を行った。プロジェクトメンバは仮想世界の中でアバタとして表現され、各メンバの作業進捗状況はドキュメント情報から抽出されアバタ情報として可視化されることで、管理者はプロジェクトの状況を直感的に把握することができる。

詳細

空間型ARディスプレイ AR View
大画面ハーフミラーフィルムを用いた空間型拡張現実感(AR)ディスプレイAR Viewの開発を行った。利用者は床面スクリーンに投影されたCG映像とハーフミラー後方の実物体を融合して見ることができる。この際、照明プロジェクタを用いることで、現実物体、CG映像の前後関係を正しいオクルージョンで表現することができる。

詳細

屋外空間と没入仮想空間の間の情報共有
屋外の現実空間と没入仮想空間の間で情報共有を行うため、携帯電話から送信された画像やコメントをリアルタイムに没入仮想空間に合成する仕組みを構築した。現実空間からサーバに送られる情報にGPSで取得した位置情報を添付することで、仮想世界の対応する位置の地図上に情報を合成する。仮想旅行等への応用が期待される。

詳細

没入型多面ディスプレイ K-Cave
正面、左右、床面の4面スクリーンで構成された没入型ディスプレイK-Caveの開発を行っている。利用者は視点位置に応じたインタラクティブな立体視映像を体験することができる。K-Cave (Keio CAVE display system) のアプリケーションの開発には、マスタ/レンダラ構造、プラグイン機構を特徴とするOpenCABIN Libを開発し使用している。

詳細

超高精細ディスプレイ CDF
4K解像度 (4096x2160画素) の立体視映像を中心としたマルチスクリーン環境CDF (Concurrent Design Facility) の開発を行っている。CDFの応用分野としては、遠隔講義、遠隔会議、協調設計、シミュレーション、ビジュアリゼーション、テレイマージョン等の幅広い用途の研究に利用されている。

詳細


過去の主な研究プロジェクト

  • 触覚ディスプレイのための基本ソフトウエアの開発  IPA(情報処理推進機構):創造的ソフトウエア育成事業 (1996-1997)
  • ネットワーク型多面ディスプレイを用いた臨場感コミュニケーションに関する研究  郵政省(総務省):創造的情報通信技術研究開発推進制度 (1997-2001)
  • 実空間における人物像の記録・伝送・再生に関する研究開発  総務省:戦略的情報通信研究開発推進制度 (2004.4-2007.3)
    (東京大学、筑波大学)
  • 「レイヤ分割法による没入型ドーム映像の制作・流通・配信手法の開発」  総務省:戦略的情報通信研究開発推進制度 (2006.4-2009.3)
    (東京大学、筑波大学、宮城大学)
  • 「テレ・イマーシブ・カンファレンス・システムに関する研究開発」  情報通信研究機構:民間基盤技術研究促進制度に係る研究開発 (2004.10-2008.9)
    (KGT、筑波大学、東京大学、京都大学、東和大学)

  • 「空間センシングに基づくスケーラブルなコラボレーション・ディスプレイの開発」  日本学術振興会:科学研究費補助金(挑戦的萌芽研究) (2010.4-2011.3) (筑波大学)
  • 「雰囲気を伝える空間型AR展示システム」  文部科学省:デジタル・ミュージアム実現のための研究開発に向けた要素技術及びシステムに関する調査検討 (2009.4-2010.3) (筑波大学、宮城大学、国立科学博物館、文化総合研究所、TBS)
  • 「実写映像を用いたドームコンテンツの制作手法に関する研究」  日本学術振興会:科学研究費補助金(挑戦的萌芽研究) (2013.4-2015.3)
  • 「ヘルスリテラシー向上のための生体ログデータ分析に基づく健康情報フィードバック」 情報通信研究機構 ソーシャル・ビッグデータ利活用・基盤技術の研究開発 (2014.4-2016.3)  (株式会社タニタヘルスリンク)
  • 「自動二輪車の安全性向上のための情報提示システムの開発」  公益財団法人JKA補助事業 RING!RING!プロジェクト (2015.4-2017.3)
  • 「大規模CADモデルを携帯端末でAR共有するための3Dデータ軽量化システムの開発」  日本学術振興会:科学研究費補助金 (基盤研究C) (2017.4-2020.3)
  • 「案内ロボットにおける自然な多言語コミュニケーション機能の開発」  公益財団法人JKA 競輪とオートレースの補助事業 (2019.4-2021.3)