私たちの自然な日常生活は、視聴覚をはじめとする複雑多様な感覚入力を処理する高度な脳機能によって支えられている。ヒトの自然な日常を支える脳機能を解明することは、脳神経科学における大きな学術的目標の一つであり、また学術的知見の実社会応用の点でも汎用的な価値がある。しかし、従来の脳機能研究においては、特定の仮説に基づく知覚・認知情報表現を解明するため、当該仮説の検証に特化した統制的・人工的な刺激やタスク条件を用いて研究を行うことが一般的であった。
　本研究では、自然で複雑な体験下における脳機能を直接的に解明するため、自然動画視聴下における脳神経活動記録を行い、体験内容と脳神経活動の関係を司る多変量予測モデルの構築(図1)を介して脳内情報表現を解明する実験・解析系を樹立した。特に動画等の中間情報表現として非線形特徴空間を介することで、機能的磁気共鳴画像法(fMRI)等の比較的時間解像度の低い脳神経活動計測系を用いた場合においても高精度な脳活動モデルを構築する手法を確立した。
　本研究が提供する枠組みは、ヒトの自然な知覚と認知を対象とする汎用的なものであり、学術的にも実社会応用の基盤としても多様な発展を促した。具体例としては、ヒト大脳皮質初期視覚野における時空間情報表現地図の定量や、脳活動解読による知覚内容の映像化(図2)等に成功した。またこのような実験・解析系の高次視覚領野への応用により、ヒトの世界観を定量する脳内意味空間の可視化や、認知内容に依存した意味空間ワープの同定、知覚・認知内容を言語情報として解読する技術開発等を行った。特に脳活動を解読することで知覚意味内容や印象等を言語情報として推定する技術は、「人が映像を見てどのように感じているか」を評価するシステムの基盤技術として応用され、実用化されるに至った。