一种基于多模态特征融合的人机交互系统及方法技术方案

本发明专利技术公开了一种基于多模态特征融合的交互处理系统，包含信息采集层

【技术实现步骤摘要】
一种基于多模态特征融合的人机交互系统及方法


[0001]本专利技术属于人机交互领域，特别涉及一种基于多模态特征融合的人机交互系统及方法
。

技术介绍

[0002]随着人工智能技术的不断发展，人机交互体验愈发实时
、
多变，体验层级更加丰富
、
多元，人机交互的快速化
、
自然化
、
情感化和个性化的诉求也比任何时候都更加突显
。
人机交互方式经过几次迭代，多样化的交互方式加大了智能设备的操作难度；部分交互方式受环境因素影响较大，降低了智能设备使用的灵活性；接触式交互方式，不利于设备卫生维护，也会出现交叉感染的安全隐患问题
。
申请号为“201610999277.9”名称为“一种多模态人机交互系统及其控制方法”的中国专利技术专利，通过设定触控
/
体感手势交互映射指令
、
逻辑处理
、
协同
/
互斥访问机制，将用户操控指令转化为应用系统调度执行的服务指令，实现了多模态的数据交互；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态特征融合的交互处理系统，其特征在于，包含信息采集层
、
数据处理层，融合计算层
、
交互反馈层；其中，信息采集层用于获取目标对象的多个初始模态交互数据；数据处理层用于对获取的多个初始模态交互数据进行预处理；融合计算层用于对处理后的多个模态交互数据进行特征融合；交互反馈层用于输出融合后的交互结果
。2.
根据权利要求1所述的一种基于多模态特征融合的交互处理系统，其特征在于，所述信息采集层包括摄像头模块
、
语音模块
、
人体感应模块
、
触摸控制模块；用于目标对象各模态数据的初始采集
。3.
根据权利要求1所述的一种基于多模态特征融合的交互处理系统，其特征在于，所述数据处理层根据各模态子模型的预设，构建预设后的多模态预处理模型
。4.
根据权利要求1所述的一种基于多模态特征融合的交互处理系统，其特征在于，所述融合计算层为多个高性能计算模组，用于对数据处理层的模态数据进行多模分类融合
。5.
根据权利要求1所述的一种基于多模态特征融合的交互处理系统方法，其特征在于，所述交互反馈层通过输出的融合结果选取特定的反馈方式，对目标对象做出精准响应和下一步判断
。6.
一种应用于根据权利要求1所述的基于多模态特征融合的交互处理系统的处理方法，其特征在于，包括以下步骤：步骤
1、
通过信息采集层获取目标对象的多个初始模态交互数据；步骤
2、
基于初始模态交互数据，通过数据处理层对多个初始模态交互数据进行预处理；步骤
3、
通过融合计算层对预处理后的多个模态交互数据进行特征融合；步骤
4、
使用交互反馈层输出特征融合后的交互结果，进行反馈
。7.
根据权利要求6所述的一种基于多模态特征融合的交互处理方法，其特征在于，步骤2中，通过数据处理层对多个初始模态交互数据进行预处理包括以下步骤：步骤
11、
将信息采集层中各子模块的模态数据通过有线或无线的通信方式传输到数据预处理层；步骤
12、
数据预处理层基于预设的多模态预处理模型，判断初始模态数据的模态标签类型；步骤
13、
对于图像模态数据，通过图像预处理将图像模态数据裁剪缩放，调整比例；然后对图像进行数据增强，提高鲁棒性；采用归一化法将图像像素调整到
[0
，
1]
范围内，降低数据维度；步骤
14、
对于语音模态数据，通过语音预处理对语音模态数据进行端点检测，提取出有用的语音段，采用短时傅里叶变换提...

【专利技术属性】
技术研发人员：刘志欢，朱广鹏，张骥超，徐秋秋，陈成，
申请(专利权)人：南京熊猫电子股份有限公司，
类型：发明
国别省市：