【技术实现步骤摘要】
一种多模态交互系统和方法
本申请涉及脑机接口
，尤其涉及一种多模态交互系统和方法。
技术介绍
在人们的日常生活中，语言是人们最常使用的交流方式之一。随着运算与存储技术的不断发展，语音识别技术作为信息社会朝着智能化和自动化方向发展的关键技术之一，具有重要的研究意义和实用价值。近二十年来，语音识别技术取得了显著进步，但过于依赖外部条件，具有场景限制这一问题依旧存在。比如，当语音信号的信噪比过低时，识别准确率会大大降低。另一方面，语音交流增加了不安全通信及隐私泄露风险。在这种特殊因素环境下，缄默通信的提出为人们的日常交流提供了新的选择。缄默通信系统的应用场景十分广泛。它不止可以用于后天病理性发音障碍人群的语言功能恢复，还可用于军事指挥作战、隐私保护等特因环境场合中。其中，无声语音识别技术通过面部肌电信号和唇部的光学图像实现，理解并分析信号所包含的语音信息，并转换为非语音信号与外界进行交流。然而现有的缄默通信系统识别精确度低，功能单一，因此，需要提供一种精确度高，功能多的交互系统和方法。专利技术...
【技术保护点】
1.一种多模态交互系统，其特征在于，包括：信息采集模块、处理模块和交互模块；/n所述信息采集模块，用于采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息，发送至处理模块；/n所述处理模块，用于对接收到的所述脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理，得到多种数据，使用机器学习对多种所述数据进行命令识别、语言信息识别以及情绪识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；/n所述交互模块，用于将命令发送至被操控设备，将语言信息发送至与其相连接的接收设备。/n
【技术特征摘要】
1.一种多模态交互系统，其特征在于，包括：信息采集模块、处理模块和交互模块；
所述信息采集模块，用于采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息，发送至处理模块；
所述处理模块，用于对接收到的所述脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理，得到多种数据，使用机器学习对多种所述数据进行命令识别、语言信息识别以及情绪识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；
所述交互模块，用于将命令发送至被操控设备，将语言信息发送至与其相连接的接收设备。
2.如权利要求1所述的交互系统，其特征在于，所述处理模块包括：
预处理单元，用于对脑电信号和肌电信号进行第一预处理，得到脑电数据和肌电数据，对唇部图像进行第二预处理，得到唇部特征，对眼部图像进行第三预处理后，得到眼部处理数据，保留眼部处理数据中的感兴趣区域，对所述感兴趣区域进行第二预处理，得到眼部特征，对所述生理参数信息进行第四预处理，得到生理数据；
命令识别单元，用于对脑电数据进行分析处理，得到频率和相位特征，对所述频率和相位特征进行识别，得到命令；
语言识别单元，用于使用机器学习对肌电数据和唇部特征进行处理，得到语言信息；
情绪识别单元，用于使用机器学习对唇部特征、眼部特征以及生理数据进行处理，得到情绪识别结果，发送至评估单元；
评估单元，用于对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块。
3.如权利要求1所述的交互系统，其特征...
【专利技术属性】
技术研发人员：闫野，王怡静，裴育，明东，许敏鹏，印二威，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。