未来開拓：マルチモーダル擬人化インタフェースとその感性基盤機能

日本学術振興会　未来開拓学術研究推進事業プロジェクト　理工学領域
「感性的ヒューマンインタフェース」分野

マルチモーダル擬人化インタフェースとその感性基盤機能
(Multimodal Anthropomorphic Interface and the Foundations of its Intuitive and Affective Functions）

1999年9月～2004年3月

プロジェクトリーダ：　石塚　満（東京大学情報理工学系研究科電子情報学専攻）
　　　　　　　　　　　〒113-8656　東京都文京区本郷7-3-1
　　　　　　　　　　　TEL：03-5841-6347　FAX：03-5841-8570

東京大学	石塚　満	情報理工学系研究科電子情報学専攻	教授	ishizuka \|at\| i.u-tokyo.ac.jp
	伊庭　斉志	新領域創成科学研究科基盤情報学専攻 /工学系研究科	助教授	iba \|at\| iba.k.u-tokyo.ac.jp
	土肥　浩	工学系研究科	助手	dohi \|at\| mi.ci.i.u-tokyo.ac.jp
	Santi Saeyor	学振リサーチアソシエイト	R.Assoc.	santi
	Helmut Prendinger	学振リサーチアソシエイト	R.Assoc.	helmut
	相澤　清晴	新領域創成科学研究科基盤情報学専攻 /工学系研究科	教授	aizawa \|at\| ee.t.u-tokyo.ac.jp
	苗村　　健	情報理工学系研究科電子情報学専攻	助教授	naemura \|at\| hc.t.u-tokyo.ac.jp
	N. P. Chandrasiri	学振リサーチアソシエイト	R.Assoc.	cds \|at\| hc.t.u-tokyo.ac.jp
早稲田大学	橋本　周司	理工学部応用物理工学科	教授	shuji \|at\| shalab.phys.waseda.ac.jp
	小林　哲則	理工学部電気電子情報工学科	教授	koba \|at\| tk.elec.waseda.ac.jp

成蹊大学	森島　繁生	工学部電気電子工学科	教授	shigeo
電気通信大学	金子　正秀	電気通信学研究科電子工学専攻	助教授	kaneko \|at\| ee.uec.ac.jp

現在のヒューマンインタフェースはアイコンをマウスで操作する形態のＧＵＩ(Graphical User Interface)が主流ですが、私たちと情報環境との接面の拡大・多様化により、それらは、新しい情報メディア技術、知能技術、ネットワーク化情報環境を活用して、新形態へと進化する必要があります。本研究ではそのような次世代ヒューマンインタフェースの有力な一形態として、 顔と姿を持ち音声対話能力を有する擬人化インタフェースの実現と、理解しやすさと親しみやすさを増し広く人々に受け入れられるようにする上で重要な、共通性のある感性基盤機能の研究開発を行います。

人間は進化を通じて脳中に顔認識の特別な細胞組織を発達させてきたことにみられるように、顔は社会的インタラクションで格別の役割を果たしてきています。この顔や姿を用いて情報伝達のバックグランドチャネルを形成し、コンピュータと対話する時の心理的負荷の軽減、理解容易度の向上を可能にします。これまでインタフェース設計においては良い道具（ツール）を作成するという考え方が強くありましたが、擬人化エージェントインタフェースについては道具ではなく、私たちの仲間、協力者としての良いパートナを産み出すという考え方をとります。

人に接するインタフェースエージェントは人との基本的なコミュニケーション機能を持つだけでなく、感性的な姿、愛着を感じさせるような性格を持つパートナとなることが必要です。顔を持つのに機械的反応しかしないのでは社会性がなく、長くつきあうのには不満を感じるようになってしまいます。そこで、生命感や個性の表出の元となる人工感情メカニズムを有する擬人化インタフェースエージェントを作成するための基盤技術を研究開発いたします。

擬人化インタフェースを構成するには多くの要素技術が必要になります (参考図,右の縮小図参照)。またこれらを効果的に統合したシステムとしなければなりません。人間の機能に対応させると、耳、口、顔と身体、頭脳、目の機能を実現し、これらを調和して動作させる必要があります。メディアの入出力部については利用できるツールが増えてきており、以前に比べて実現の環境は向上してきているので、利用可能な装置やツールは利用することにしますが、先進的な感性的擬人化インタフェースの実現に必要な機能を研究開発します。

インタフェースは総合技術であり、また感性も多くの要素の総体として表出されるものであることから、擬人化インタフェースの関係するメディア、知能機能と融合した形で感性基盤機能の確立を図るようにします。また、単なるインタフェースの開発だけでは正しい評価は困難ですので、有用で魅力的な情報コンテンツと併せて、評価しうる感性的擬人化インタフェースの具体的実現を通して、ユーザの感情を含む状態認知、人工感情モデル、適応的反応、感性的な自律的動作の生成機能等の、擬人化インタフェースのための共通性のある感性基盤技術の確立を図ります。

以下に本研究プロジェクトでの研究開発対象を要素技術とシステムに大別して示します。

■要素技術

筋肉の動作による表情の制御機能を持つ精密３Ｄ顔モデル (精密３Ｄ顔モデル参照）
３次元仮想空間で動作する擬人化エージェント (VRML-VR)
似顔絵作成に基づく個性的なエージェントキャラクタの作成技術
感性空間モデルに基づくユーザの感情の理解
感情のＯＣＣモデル（２２種の基本感情を定義）に基づく、感情からのエージェントの動作・発声へのマッピング法
インタラクションを通じてのエージェントの感情の動きのモデル
感情によって修飾可能な対話知識ベース機能
進化的計算法に基づくエージェントの感性的反応・動作の創出
WWW情報空間へのアクセス機能、WWWブラウザとの結合 (Netscapeと結合したVSA、 WWW情報空間のSub-Agentsとの連携参照)
擬人化エージェントが動作する３次元仮想空間の構築
社会性や感情機能も含むインタラクションの管理機構

■システム

WWW情報空間の新形態の接面となるマルチモーダル擬人化エージェントインタフェース：ＶＳＡ(Visual Software Agent) (Netscapeと結合したVSA， WWW情報空間のSub-Agentsとの連携視線一致の回転LCD 参照)
Webページの作者自身が登場してインタラクティブに説明する形式であり、作者のアイデンティティを持った新形態のマルチモーダルWebコンテンツ作成システム：ＶＰＡ(Visual Page Agent)
擬人化エージェントキャラクタを用いるマルチモーダルプレゼンテーション・システムと、これを多くの人々が感性機能も含めて容易に記述することを可能にするマークアップ言語ＭＰＭＬ(Multimodal Presentation Markup Language：公開中) (MPMLによるプレゼンテーション )
３次元仮想空間での（感性的）マルチモーダル擬人化エージェント (VRML-VR)
ユーザの仮身（アバタ）の役割を果たすマルチモーダルエージェントを介する（感性的）コミュニケーション
人間型（ヒューマノイド）ロボットとのマルチモーダル対話インタラクション (対話ロボットHADALY)