【技术实现步骤摘要】
本申请涉及智能控制领域，且更为具体地，涉及一种基于视觉听觉融合的家用机器人控制系统及其方法。
技术介绍
1、随着人工智能和机器人技术的快速发展，家用机器人在日常生活中的应用越来越广泛。家用机器人是一种能够在家庭环境中为人类提供服务和帮助的智能设备，它们通常具有多种感知、交互和执行功能，如清洁、娱乐、安全等。为了提高家用机器人的用户体验和满意度，需要让机器人能够更好地理解和响应用户的控制指令。然而，传统的机器人控制系统往往通过按钮、遥控器或触摸屏等方式进行操作，限制了用户与机器人之间的交互方式和体验。
2、因此，期望一种基于视觉听觉融合的家用机器人控制系统。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于视觉听觉融合的家用机器人控制系统及其方法，其通过利用机器人的摄像头和录音设备采集用户控制指令的手势监控视频和语音信号，并在后端引入数据处理和分析算法来实现对用户手势动作的识别和语音语义的理解，使机器人能够理解和响应用户的自然语言指令和手势动作，...
【技术保护点】
1.一种基于视觉听觉融合的家用机器人控制方法，其特征在于，包括：
2.根据权利要求1所述的基于视觉听觉融合的家用机器人控制方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
3.根据权利要求2所述的基于视觉听觉融合的家用机器人控制方法，其特征在于，对所述手势语义特征向量的序列和所述语音提示词特征向量的序列进行语义交互筛选融合分析以得到视频-语音多模态融合特征，包括：将所述手势语义特征向量的序列和所述语音提示词特征向量的序列通过序列交互筛选融合模块以得到视频-语音多模态融合特征向量作为所述视频-语音多模态融合特征。
4.根据权...
【技术特征摘要】
1.一种基于视觉听觉融合的家用机器人控制方法，其特征在于，包括：
2.根据权利要求1所述的基于视觉听觉融合的家用机器人控制方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
3.根据权利要求2所述的基于视觉听觉融合的家用机器人控制方法，其特征在于，对所述手势语义特征向量的序列和所述语音提示词特征向量的序列进行语义交互筛选融合分析以得到视频-语音多模态融合特征，包括：将所述手势语义特征向量的序列和所述语音提示词特征向量的序列通过序列交互筛选融合模块以得到视频-语音多模态融合特征向量作为所述视频-语音多模态融合特征。
4.根据权利要求3所述的基于视觉听觉融合的家用机器人控制方法，其特征在于，将所述手势语义特征向量的序列和所述语音提示词特征向量的序列通过序列交互筛选融合模块以得到视频-...
【专利技术属性】
技术研发人员：贾国强，程巧，杭大明，施洪锐，
申请(专利权)人：浙江孚宝智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。