一种多模态信息处理及交互系统技术方案

本发明专利技术涉及一种多模态信息处理及交互系统，用于解决多模态交互系统中存在的模态融合方式简单，对话机制呆板的问题。包括多模态信息认知模块，多模态信息融合模块，以及多模态对话管理模块，其中，多模态信息认知模块用于对用户各模态交互信息进行识别，多模态信息融合模块利用D‑S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；多模态对话管理模块针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答；本发明专利技术有效提高了用户交互意图识别准确率，实现了自然灵活的人机交互。

【技术实现步骤摘要】
一种多模态信息处理及交互系统
本专利技术涉及多模态信息融合技术，具体涉及一种有效利用多模态信息并构建可实现人机友好交互的多模态交互系统。
技术介绍
20世纪后期以来，多模态人机交互的相关研究受到越来越多学者的关注与重视。国内外诸多高校实验室及科研机构都设立了相关的科研团队，比如卡内基-梅隆大学的人机交互学院、斯坦福大学的人工智能研究中心、麻省理工学院的媒体实验室等，而诸如谷歌、微软等大型公司也注入大量的人力、物力到多模态人机交互领域的研究中。由于多模态人机交互受到广泛的重视，多模态人机交互技术在近几十年来得到了迅速的发展，并取得了重大突破。中国科学院自动化研究所的陶建华等人通过融合语音、手势以及面部表情等信息，建立了一套基于多模态对话系统的城市交通信息查询系统，数字虚拟人可根据操作者的语音查询信息做出解答。后又在机械臂上通过融合语音和图像信息实现了一套具有智能交互学习能力的机械臂写字系统，机械臂可以通过图像处理技术学习写字，并根据操作者的语音要求完成特定字的书写。目前的多模态交互系统尚存在一些问题：(1)多模态交互系统缺乏有效的本文档来自技高网...

【技术保护点】
1.一种多模态信息处理及交互系统，其特征在于包括三个功能模块：多模态信息认知模块，多模态信息融合模块，多模态对话管理模块，其中，/n多模态信息认知模块：包括多种交互信息识别模块，用于对用户各模态交互信息进行识别，得到用户在每种模态下的意图类型、每种意图类型对应的概率，以及每种意图类型对应的形式化指令，其中，形式化指令的功能是供机器执行相应任务，具体由完成相应任务所需要的必要参数构成，所述意图类型包括有明确意图和无明确意图两种；/n多模态信息融合模块：利用D-S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；/n多模态...

【技术特征摘要】
1.一种多模态信息处理及交互系统，其特征在于包括三个功能模块：多模态信息认知模块，多模态信息融合模块，多模态对话管理模块，其中，
多模态信息认知模块：包括多种交互信息识别模块，用于对用户各模态交互信息进行识别，得到用户在每种模态下的意图类型、每种意图类型对应的概率，以及每种意图类型对应的形式化指令，其中，形式化指令的功能是供机器执行相应任务，具体由完成相应任务所需要的必要参数构成，所述意图类型包括有明确意图和无明确意图两种；
多模态信息融合模块：利用D-S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；
多模态对话管理模块:针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答。


2.根据权利要求1所述的一种多模态信息处理及交互系统，其特征在于，所述的多种交互信息识别模块包括但不限于语音指令识别模块、手势识别模块。


3.根据权利要求2所述的一种多模态信息处理及交互系统，其特征在于，所述的D-S证据理论用于将多模态信息认知模块得到的各模态信息视为一组有效信息，对组中包含的各个模态的识别结果进行决策级融合，进而确定用户的最终交互意图，具体方法如下：
将用户实际交互意图识别为某一意图视为一个事件，则一次交互过程中所有可能事件共同构成集合Θ＝{θ1,θ2,…,θc}，该集合也被称为识别框架；
集合Θ的幂集是集合Θ及其所有子集所构成的集合，记为2θ，而基本概率分配(BasicProbabilityAssignment,BPA)或称mass函数，为2θ的任意子集A分配属于[0,1]]的值，识别框架Θ所有子集的基本概率分配总和为1，Φ表示交互过程中不可能的事件，如下所示：
m(Φ)＝0(1)



将来自每个模态的识别意图对应的概率作为独立的mass函数，对于由语音指...

【专利技术属性】
技术研发人员：甘明刚，徐磊，田宗凯，陈杰，陈文颉，陈晨，窦丽华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11