融合多模态交互方法、设备及存储介质技术

技术编号:46122903 阅读:8 留言:0更新日期:2025-08-15 19:56
本发明专利技术涉及智能可穿戴设备技术领域,公开了一种融合多模态交互方法、设备及存储介质。该方法包括:采集输入信号,对所述触摸数据进行手势识别处理,得到手势轨迹;将手势轨迹与预置手势模型比对,得到手势识别结果;对所述语音数据进行语音识别处理,得到语音识别结果;根据预置的运动特征模型,对运动数据识别操作处理,得到运动识别结果;根据预置云端大模型,对手势识别结果、语音识别结果、运动识别结果融合分析,得到多模态交互的操作识别数据。在本发明专利技术实施例中,通过方法得到操作识别数据,设备可以进行多模态交互,使整体互动表现更自然以建立稳定的用户连接感。

【技术实现步骤摘要】

本专利技术涉及智能可穿戴设备,尤其涉及一种融合多模态交互方法、设备及存储介质


技术介绍

1、目前市场上存在多种具备交互功能的可穿戴设备,例如智能手环、智能胸针、电子宠物机等。这些设备通常集成显示屏、微控制器、传感器以及语音模块,用于实现运动追踪、时间显示、简单互动等功能。

2、这些产品可以实现基本的视觉信息展示(如图标、动画)、简单的触控响应或通知提醒,但这些功能大多局限在“信息输出”层面,缺乏真实的“互动体验”与“情感表达”。整体上,它们在交互方式上相对单一,导致整体互动表现不够自然,难以建立稳定的用户连接感。


技术实现思路

1、本专利技术的主要目的在于解决现有技术在交互方式上相对单一,导致整体互动表现不够自然,难以建立稳定的用户连接感的技术问题。

2、本专利技术第一方面提供了一种融合多模态交互方法,所述融合多模态交互方法包括:

3、采集输入信号,所述输入信号包括:触摸数据、语音数据、运动数据;

4、对所述触摸数据进行手势识别处理,得到手势轨迹;

...

【技术保护点】

1.一种融合多模态交互方法,其特征在于,应用于融合多模态交互设备,所述融合多模态交互方法包括:

2.根据权利要求1所述的融合多模态交互方法,其特征在于,所述触摸数据包括:触点数量、接触面积、移动方向,所述对所述触摸数据进行手势识别处理,得到手势轨迹包括:

3.根据权利要求1所述的融合多模态交互方法,其特征在于,所述对所述语音数据进行语音识别处理,得到语音识别结果包括:

4.根据权利要求1所述的融合多模态交互方法,其特征在于,所述根据预置运动特征模型,对所述运动数据识别操作处理,得到运动识别结果包括:

5.根据权利要求1所述的融合多模态交互方...

【技术特征摘要】

1.一种融合多模态交互方法,其特征在于,应用于融合多模态交互设备,所述融合多模态交互方法包括:

2.根据权利要求1所述的融合多模态交互方法,其特征在于,所述触摸数据包括:触点数量、接触面积、移动方向,所述对所述触摸数据进行手势识别处理,得到手势轨迹包括:

3.根据权利要求1所述的融合多模态交互方法,其特征在于,所述对所述语音数据进行语音识别处理,得到语音识别结果包括:

4.根据权利要求1所述的融合多模态交互方法,其特征在于,所述根据预置运动特征模型,对所述运动数据识别操作处理,得到运动识别结果包括:

5.根据权利要求1所述的融合多模态交互方法,其特征在于,所述输入信号还包括图像数据,所述采集输入信号之后包括:

6.根据权利要求1所述的融合多模态交互方法,其特征在于,在所述根据预置云端大模型,对所述手势识别结果、所述语音识别结果、所述运动识别结果融合分析,得到多模态交互的操作识别数据之后,还包括:

7.根据权利要求1-6任一项所述的融合多模态交互方法,其特征在于,在所述根据预置云端大模型,对所述手势识别结果、所述语音识别结果、所述运动识别结果融合分析,得到多模态交互的操作识别数据之后,还包括:

8.根据权利要求7所述的融合多模态交互方法,其特征在于,在所述将所述历史数据与当前的操作识别数据、当前交互数据对应的行为决策匹配,得到精确的状态判断结果之后,还包括:

9.一种融合多模态交互设备,其...

【专利技术属性】
技术研发人员:夏崇彦康皓然
申请(专利权)人:深圳汀灵智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1