基于桌面三维交互一体机的手势交互方法、装置及设备制造方法及图纸

本发明专利技术公开了基于桌面三维交互一体机的手势交互方法、装置及设备，手势识别设备若检测到用户针对训练目标模型在康复训练虚拟场景中的当前操作手势数据，则对其进行识别得到当前操作识别结果；3D显示器一体机基于当前操作识别结果对训练目标模型进行模型操作，得到当前目标操作模型；手势识别设备持续对用户手部进行检测，直至未检测到下一操作手势数据或检测到操作结束指令。本发明专利技术实施例能基于手势识别设备快速采集用户手部图像并在康复训练虚拟场景相应的三维空间中对应创建用户手部模型，之后采用用户手部实际动作驱动用户手部模型对训练目标模型进行相应操作，能有效模拟复杂的手部动作并实现相应的虚拟康复训练。

【技术实现步骤摘要】

本专利技术涉及桌面三维交互，尤其涉及基于桌面三维交互一体机的手势交互方法、装置及设备。

技术介绍

1、当前的桌面三维交互一体机虽然在一定程度上提供了模拟真实操作环境，但采用激光笔作为桌面三维交互一体机主要的操作工具，其局限性日益凸显，具体：

2、1）激光笔的操作方式不够直观和灵活，难以满足用户在针对桌面三维交互一体机提供的模拟真实操作环境中模拟需要进行的精确操作；

3、2）若桌面三维交互一体机的模拟真实操作环境是具体用于多场景康复训练，使用激光笔的操作方式缺乏带入感，使得用户在虚拟环境中难以获得沉浸式的操作体验，降低了康复训练效果；

4、3）现有的桌面三维交互一体机无法模拟复杂的手部动作，这在许多需要精细操作领域（如医疗、工程等）的康复训练中，就无法完成精细的手部操作，导致无法完成康复训练。

技术实现思路

1、本专利技术实施例提供了基于桌面三维交互一体机的手势交互方法、装置及设备，旨在解决现有技术中桌面三维交互一体机采用激光笔作为主要的操作工具，无法模拟复杂的手部动作，无法本文档来自技高网...

【技术保护点】

1.一种基于桌面三维交互一体机的手势交互方法，应用于桌面三维交互一体机，其特征在于，所述桌面三维交互一体机包括3D显示器一体机、3D眼镜和手势识别设备，所述手势识别设备与所述3D显示器一体机通讯连接；所述基于桌面三维交互一体机的手势交互方法包括：

2.根据权利要求1所述的方法，其特征在于，所述手势识别设备若检测采集到用户的手部图像集，则基于所述手部图像集对应创建用户手部模型，并将所述用户手部模型映射至所述康复训练虚拟场景，包括：

3.根据权利要求2所述的方法，其特征在于，在所述若检测到有用户手部进入与所述手势识别设备对应的交互区域，则获取预设的手部图像采集策略的步...

【技术特征摘要】

1.一种基于桌面三维交互一体机的手势交互方法，应用于桌面三维交互一体机，其特征在于，所述桌面三维交互一体机包括3d显示器一体机、3d眼镜和手势识别设备，所述手势识别设备与所述3d显示器一体机通讯连接；所述基于桌面三维交互一体机的手势交互方法包括：

2.根据权利要求1所述的方法，其特征在于，所述手势识别设备若检测采集到用户的手部图像集，则基于所述手部图像集对应创建用户手部模型，并将所述用户手部模型映射至所述康复训练虚拟场景，包括：

3.根据权利要求2所述的方法，其特征在于，在所述若检测到有用户手部进入与所述手势识别设备对应的交互区域，则获取预设的手部图像采集策略的步骤之后，在所述基于所述手部图像采集策略对所述交互区域中的用户手部进行图像采集，得到所述手部图像集的步骤之前，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述基于预设的三维重建策略对所述手部图像集在所述康复训练虚拟场景中进行三维手部虚拟模型重建，得到所述用户手部模型，并将所述用户手部模型映射至所述康复训练虚拟场景，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述预处理手部图像集中各预处理手部图像的图像信息及对应的手部...

【专利技术属性】
技术研发人员：陈作兵，戚斌杰，黎佳琪，周帆曦，李海军，张天芳，
申请(专利权)人：杭州露电数字科技集团有限公司，
类型：发明
国别省市：