研究内容

Overview

Domain Experts✕AI

私は様々なApplication DomainのDomain Experts がもつ俯瞰的視点や経験を起点としたAI技術に興味があります。
例えば音楽をAIで分類することを考えてみましょう。 音響工学のセオリーからいけば、とりあえずMFCCと呼ばれる 特徴量を抽出することを選択するでしょう。 その特徴量を用いて音楽を分類したとします。
音楽を分類するのに、MFCCの 特定の番号が有効であったというところまで わかります。しかし、もし分析者が音響工学に加えて 音楽学の専門知識を持っていたとすると、 この分類に有効であったMFCCを分析すると 特定の楽器に含まれる倍音の違いをAIが 捉えて分類していたということまで解釈 できるかもしれません。
また、ビートルズとバッハを分類するのには演奏される 楽器が異なっているに違いないからMFCCが 有効であるが、バッハとヘンデルの曲を分類するには 旋律に着目したほうが良いからF0を用いるべきだと、 思うかもしれない。
また、認知学者がリズムと人間の闘争心の間に ある種の相関があるという知見を持っていたとすると、 人間の闘争心を引き起こしてスポーツの練習意欲向上の ために利用可能な音楽をAIで分類する、といったテーマ が思いつくかもしれない。 つまり、正確に音楽を分類できるAIがあったとしても、 そのAIが行っていることをより立体的に理解し、 ただ現在必要そうに見えるというだけでなく 長期的に意義のある文脈でAIを用いるためには ドメインエキスパートの経験と知識が必要であるということであり、 複数の専門分野がAIを介して協力し合うことが必要だと考えます。 またこの際、解釈可能なAI(explanable AI)が有用となる ケースが多いです。

図1. 解釈可能なAIの例(自筆楽譜の伝播経路推定)
様々なドメインエキスパートと協力し、専門家の経験や知識を モデルなどを用いて共有した上で、俯瞰的目的と合致した 結果を出すために、どのようなデータを対象として、どのような種類のAIを用いて、 どのような分析をし、どのように結果を評価するか? 具体的には以下のようなケースに興味があります。

Caase 1:バッハ✕AI

図2. 筆跡鑑定における課題

作曲家のなかでもとりわけバッハに関係する研究は世界中で盛んであり、 バッハ研究と呼ばれています。私は特に画像処理技術を用いて 自筆楽譜から知識を抽出したり、専門家の見解を検証する研究に取り組んできました。

DAS BACH ARCHIVという機関と協力して 研究を進めています(図2)。

それ以外にも以下の研究にも興味があります。

Case 2:SDM✕AI✕身体性=イノヴェーション

図4. 疲弊時体勢2
図3. 疲弊時体勢1

ソファに長時間座っていると、人間は 各個人に個性的な姿勢を取り始めます(図3,4参照)。
これは各々個人によって体の使い方に 偏りがあり、特定の部分が疲れる ためにこれを緩めようとしている姿勢であると考えています。

この特定の体の使い方がある程度類型化 できるというのが体運動習性の考え方であり、 これがその人の感受性と密接に結びついている と考えられている。 目の見えない人が、そうでない人に比べ聴覚などの 知覚が発達するケースがあることから類推されるように、人間は 自身の身体特性と相関のある固有の認知・メンタルモデルを 有していると考えています。
この類型を明らかにできれば、人間を要素とする 任意のシステムにおいて、より人間の潜在的な要求を満たす ユーザーエクスペリエンスデザイン(UXD)が可能になると考えている。 またシステムアーキテクティングにおいてより実効性の高い ビューポイントの設定にもつながると考えています。

例えば椅子をデザインするとしても、座ったときに必ず後屈してしまう タイプの人は背もたれがない椅子では座っていられない(図.4)。 逆に疲弊すると上に体を伸ばすようにしてリラックスするタイプの 人間もいます(図.3)。専門家の知見から 前者は呼吸器が弱いため行動が遅く引きこもりがちであり 、後者は物事を難しく考えることを好む、などの特性が類推されます。
例えば、AIがセンサから得られた情報によって 人間の類型を分析し、これに基づいて快適度を最大化させるように 変形する椅子、さらに椅子にスピーカーがついていて 前者にはロマン派の音楽を再生する、後者には難解な哲学の 話題を音声合成で音読させるといった革新的デザインが可能になります。

このように、人間の身体・認知の多様性に関する知見を検証し、 蓄積していくこと、そしてそれらをSDM学を総動員して 実際のシステムに組み込んでいくことがイノヴェーションを生むと考えています。
また、AIという文脈で言えば、これはシンボルグラウンディングの 問題とも関係があります。

人間は視覚というモダリティ1つとっても、身体全体を通して 何かを知覚しています。例えば、車の走行を見ていて人間は 重心の変化を身体で感じ取ることができます。また、 車のフロントの表情から人間的な性格を感じ取ります。

これは昨今プロジェクション・サイエンスと呼ばれる分野とも 関連がありますが、身体性に関するモデルを有するニューラルネットワークを用いることで、 視覚=>身体感覚=>言語のようなAIが可能になるのではないか と考えています。

これをVRARと結びつけることで、 人間が暗黙的に感じている情報を可視化し、一部の限られた芸術家が 感じ取っている情報を明示的に投射した現実が体験できるようなったり、 自分と全く異なったタイプの人間の認知を自分の現実として経験することが 可能になるのではないかと考えています。

一緒に研究をする仲間を募集しています! まずはZoomで対談してみませんか。 > mail to me