多模态数据自动处理方法、系统及电子设备及存储介质技术方案

技术编号:42604132 阅读:27 留言:0更新日期:2024-09-03 18:14
本发明专利技术提供了一种多模态数据自动处理方法、系统、电子设备及存储介质,涉及数据处理技术领域。多模态数据自动处理方法包括:接收至少两个不同模态的输入数据,并获取环境特征数据;将多个所述输入数据分别进行特征提取,得到多个输入指令;将多个所述输入指令进行融合处理,得到融合数据;根据所述环境特征数据和所述融合数据进行指令分析,得到指令结果;根据所述指令结果,匹配执行动画,当所述执行动画在用户界面中展示时,驱动指令执行。本发明专利技术能够实现电子设备在面对多输入源时,能够更快速更准确地执行指令。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体为一种多模态数据自动处理方法、系统及电子设备及存储介质


技术介绍

1、随着手机、智能家居、车载系统等电子设备的智能化发展,用户对电子设备的交互性能有了更多的需求。在电子设备与用户的交互上,现有技术通常依赖单一的输入模式,如触摸或语音,这限制了用户交互的灵活性和效率。此外,现有的电子设备在存在多输入源需要输入信号时,基本都是通过设置不同优先级来处理的,规则过于单一;每增加一种输入源都需要为其指定特定的规则,当存在多种输入源时,每增加一种输入源都需要成倍配置优先级规则;而且当多种输入源同时输入时,比较容易造成系统紊乱。


技术实现思路

1、本专利技术的目的在于提供一种,以解决上述
技术介绍
中提出的问题,实现电子设备在面对多输入源时,能够更快速更准确地执行指令。

2、本专利技术第一方面提供了一种多模态数据自动处理方法,包括:接收至少两个不同模态的输入数据,并获取环境特征数据;将多个所述输入数据分别进行特征提取,得到多个输入指令;将多个所述输入指令进行融合处理,得到融合数据;根据本文档来自技高网...

【技术保护点】

1.一种多模态数据自动处理方法,其特征在于,包括:

2.根据权利要求1所述的多模态数据自动处理方法,其特征在于,所述输入数据包括来自音频传感器采集的声音数据和/或图像传感器采集的图像数据。

3.根据权利要求1所述的多模态数据自动处理方法,其特征在于,所述环境特征数据包括来自音频传感器反馈的声音数据、图像传感器反馈的图像数据、光学传感器反馈的光线数据、定位传感器反馈的定位数据和/或温度传感器反馈的温度数据。

4.根据权利要求1所述的多模态数据自动处理方法,其特征在于,还包括:

5.根据权利要求4所述的多模态数据自动处理方法,其特征在于,还包括...

【技术特征摘要】

1.一种多模态数据自动处理方法,其特征在于,包括:

2.根据权利要求1所述的多模态数据自动处理方法,其特征在于,所述输入数据包括来自音频传感器采集的声音数据和/或图像传感器采集的图像数据。

3.根据权利要求1所述的多模态数据自动处理方法,其特征在于,所述环境特征数据包括来自音频传感器反馈的声音数据、图像传感器反馈的图像数据、光学传感器反馈的光线数据、定位传感器反馈的定位数据和/或温度传感器反馈的温度数据。

4.根据权利要求1所述的多模态数据自动处理方法,其特征在于,还包括:

5.根据权利要求4所述的多模态数据自动处理方法,其特征在于,还包括:对所述输入数据、所述环境特征数据和所述确认信息进行存档,得到历史数据。

6....

【专利技术属性】
技术研发人员:李泉
申请(专利权)人:深圳市亿晟科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1