研究内容

Overview

Domain Experts✕AI

私は様々なApplication DomainのDomain Experts がもつ俯瞰的視点や経験を起点としたAI技術に興味があります。
例えば音楽をAIで分類することを考えてみましょう。 音響工学のセオリーからいけば、とりあえずMFCCと呼ばれる特徴量を抽出することを選択するでしょう。その特徴量を用いて音楽を分類したとします。
音楽を分類するのに、MFCCの特定の番号が有効であったというところまでわかります。しかし、もし分析者が音響工学に加えて 音楽学の専門知識を持っていたとすると、この分類に有効であったMFCCを分析すると特定の楽器に含まれる倍音の違いをAIが捉えて分類していたということまで解釈できるかもしれません。
また、ビートルズとバッハを分類するのには演奏される楽器が異なっているに違いないからMFCCが有効であるが、バッハとヘンデルの曲を分類するには旋律に着目したほうが良いからF0を用いるべきだと、思うかもしれない。
また、認知学者がリズムと人間の闘争心の間にある種の相関があるという知見を持っていたとすると、人間の闘争心を引き起こしてスポーツの練習意欲向上のために利用可能な音楽をAIで分類する、といったテーマが思いつくかもしれない。つまり、正確に音楽を分類できるAIがあったとしても、そのAIが行っていることをより立体的に理解し、ただ現在必要そうに見えるというだけでなく長期的に意義のある文脈でAIを用いるためにはドメインエキスパートの経験と知識が必要であるということであり、複数の専門分野がAIを介して協力し合うことが必要だと考えます。またこの際、解釈可能なAI（explanable AI)が有用となるケースが多いです。

様々なドメインエキスパートと協力し、専門家の経験や知識をモデルなどを用いて共有した上で、俯瞰的目的と合致した結果を出すために、どのようなデータを対象として、どのような種類のAIを用いて、どのような分析をし、どのように結果を評価するか？具体的には以下のようなケースに興味があります。

専門家が実際に直面している問題である
データを分析する視点が専門家のみ持ち得る視点である

データそのものが、専門家のみ入手できるデータである
専門外の人間には理解できない共通認識・経験がある
その他、常識を疑う洞察がある、、、など

Caase 1:バッハ✕AI

作曲家のなかでもとりわけバッハに関係する研究は世界中で盛んであり、バッハ研究と呼ばれています。私は特に画像処理技術を用いて自筆楽譜から知識を抽出したり、専門家の見解を検証する研究に取り組んできました。

自筆楽譜からどのような情報を抽出できるか?
平均律２巻などの異型楽譜がどのように伝播してきたか？（図.1）
バッハの筆跡が本当にバッハによって書かれたのか？
バッハの筆跡がいつ書かれたのか？

DAS BACH ARCHIVという機関と協力して研究を進めています(図2)。

Case 2:SDM✕AI✕身体性＝イノヴェーション

ソファに長時間座っていると、人間は各個人に個性的な姿勢を取り始めます（図3,4参照）。
これは各々個人によって体の使い方に偏りがあり、特定の部分が疲れるためにこれを緩めようとしている姿勢であると考えています。

この特定の体の使い方がある程度類型化できるというのが体運動習性の考え方であり、これがその人の感受性と密接に結びついていると考えられている。目の見えない人が、そうでない人に比べ聴覚などの知覚が発達するケースがあることから類推されるように、人間は自身の身体特性と相関のある固有の認知・メンタルモデルを有していると考えています。
この類型を明らかにできれば、人間を要素とする任意のシステムにおいて、より人間の潜在的な要求を満たすユーザーエクスペリエンスデザイン(UXD)が可能になると考えている。またシステムアーキテクティングにおいてより実効性の高いビューポイントの設定にもつながると考えています。

例えば椅子をデザインするとしても、座ったときに必ず後屈してしまうタイプの人は背もたれがない椅子では座っていられない（図.４）。逆に疲弊すると上に体を伸ばすようにしてリラックスするタイプの人間もいます（図.３）。専門家の知見から前者は呼吸器が弱いため行動が遅く引きこもりがちであり、後者は物事を難しく考えることを好む、などの特性が類推されます。
例えば、AIがセンサから得られた情報によって人間の類型を分析し、これに基づいて快適度を最大化させるように変形する椅子、さらに椅子にスピーカーがついていて前者にはロマン派の音楽を再生する、後者には難解な哲学の話題を音声合成で音読させるといった革新的デザインが可能になります。

このように、人間の身体・認知の多様性に関する知見を検証し、蓄積していくこと、そしてそれらをSDM学を総動員して実際のシステムに組み込んでいくことがイノヴェーションを生むと考えています。
また、AIという文脈で言えば、これはシンボルグラウンディングの問題とも関係があります。

人間は視覚というモダリティ１つとっても、身体全体を通して何かを知覚しています。例えば、車の走行を見ていて人間は重心の変化を身体で感じ取ることができます。また、車のフロントの表情から人間的な性格を感じ取ります。このことは人間の重力への反応と関連があると考えています。また、数学のように一見身体性と無縁の分野も、実は身体性は深く関わっています。０という概念を身体性を完全に排除して定義することは本当に可能でしょうか?

一緒に研究をする仲間を募集しています! まずはZoomで対談してみませんか。 > mail to me