集成手势识别与超声波触觉反馈的装置及其方法和用途制造方法及图纸

本发明专利技术提供了一种集成手势识别与超声波触觉反馈的装置和方法，该装置将包含摄像头、照明单元和超声波喷头组件的功能单元集成在手套内部，实时反馈手部操作，实现对用户手部动作的精确识别追踪，并将反馈回来的触觉信息转换成直接作用于人手的力或力矩，使操作者在虚拟环境中产生真实的触摸感受，同时还可以模拟多种角度、力度的触感，提高了手势识别速度和精度，增加了虚拟现实体验的逼真度和沉浸度。本发明专利技术涉及上述集成手势识别与超声波触觉反馈的装置在虚拟现实、增强现实以及混合现实中的用途。

Device for integrating hand gesture recognition and ultrasonic tactile feedback and its method and Application

The invention provides an integrated gesture recognition and ultrasonic tactile feedback device and method, the device will contain a camera and a lighting unit and an ultrasonic nozzle component function unit integrated in the inside, real-time feedback of hand operation, realize the accurate identification of the user hand movement tracking, and tactile information feedback back into the direct effect on hand force or torque, allows the operator to touch the true feelings in the virtual environment, and also can simulate various angles, intensity of touch, improve the gesture recognition speed and accuracy, increase the fidelity of virtual reality and immersion experience. The present invention relates to the application of the integrated hand gesture recognition and ultrasonic tactile feedback devices in virtual reality, augmented reality and hybrid reality.

【技术实现步骤摘要】
集成手势识别与超声波触觉反馈的装置及其方法和用途
本专利技术涉及虚拟现实
，特别涉及一种集成手势识别与超声波触觉反馈的装置及其方法和用途。
技术介绍
虚拟现实技术是利用计算机仿真技术，在虚拟世界中进行真实世界物体的再现还原，并且通过设置一定的交互命令，使得用户可以与虚拟世界中的物体进行感官上的交互，从而沉浸于虚拟世界中。由于VR技术本身高度的沉浸性仿真效果，以及在国防、医学、教育、商业、制造业和娱乐游戏等领域的突出作用，虚拟现实技术被视为21世纪最有应用价值和市场前景的技术之一，而触觉反馈一直被认为是实现虚拟现实完全沉浸的重要组成部分。当前在虚拟现实环境里面缺乏触觉的模拟以及输入方式单一被认为是影响沉浸感的一个重要的问题。缺乏触觉反馈会让人无法感觉到真正手持虚拟物品。现有的机械式触觉反馈方案无法做到全方位覆盖，而且只能提供方向单一的力。部分公司的虚拟现实、增强现实产品使用手柄控制器来进行输入，这是在目前手势识别方案还有欠缺情况下的权宜方案。但是VR手柄也有着明显的缺陷：对于手部关节的精细动作无法还原；无法进行手部动作的精准定位；容易受周围环境的影响而降低精度。目前已经面世的骨架式带压力板的手套只能在各个手指关节之间放置一片压力板，与真正的现实世界完全不同。只能小部分模拟压力，无法保证逼真度，用户体验差。手势识别在虚拟现实和增强现实领域被部分公司采用。但是单纯通过摄像头识别手势需要将手置于摄像头的视野范围且使用者的手需一直抬起，无法长时间使用。而且由于使用环境非常复杂，周围的各种环境干扰也很大，会造成识别精度低，识别速度慢。为了保证VR和AR交互控制的逼真度和沉浸度，需要进一步提高用户之间的交互性以及用户与识别设备之间的可交互性，因此，需要更加精确地识别手部运动及动作细节。现有技术通过在识别设备中加装三维摄像模组来识别游戏过程中的用户手部动作，但是经常遇到识别精度低，夜晚不能正常识别等问题。
技术实现思路
本专利技术的目的是至少解决上述缺陷与不足之一，该目的是通过以下技术方案实现的。本专利技术提供了一种集成手势识别与超声波触觉反馈的装置，包括：手套本体以及镶嵌在所述手套本体上的多个功能单元，所述功能单元用于对处于所述手套本体内的人手进行手势数据采集并根据采集到的人手手势数据对所述人手提供超声波触觉反馈。进一步地，所述多个功能单元包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件，其中，所述多个功能单元中的第一功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少一种，所述多个功能单元中的第二功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少另一种，所述多个功能单元中的第三功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少其余一种。进一步地，每个功能单元均包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件。进一步地，还包括计算模块，所述计算模块用于对采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。进一步地，还包括计算模块，所述计算模块用于对所述摄像头采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。进一步地，还包括控制模块以及通讯模块，所述控制模块用于接收所述手势反馈信息并根据所述手势反馈信息控制所述超声波喷头组件发出超声波。进一步地，所述超声波喷头组件包括至少一个超声波喷头。进一步地，所述通讯模块为USB模块、蓝牙模块、GPRS/3G/4G/5G模块、WiFi模块、ZigBee模块或特定协议的网络通讯模块中的一种或多种。进一步地，所述集成手势识别与超声波触觉反馈的装置还包括内置的电池和/或能够与外部电源以有线或无线的方式连接的电源接口。进一步地，所述手套本体固定在手腕处或者所述手套本体不固定在手腕处。进一步地，所述手套本体为方形体、圆形体或其他任意形状。进一步地，所述手套本体外部为柔性材质或刚性材质。进一步地，所述手套本体内部表面覆有单色涂层或带图案的涂层。进一步地，还包括终端设备，并且所述终端设备能够接收所述摄像头采集到的手势数据，进行手势识别，并生成手势反馈信息。本专利技术还提供了一种利用上述集成手势识别与超声波触觉反馈的装置进行超声波手势识别和触觉反馈的方法，包括：选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置；所述集成超声波手势识别与触觉反馈的装置实时采集处于手套本体内的人手的手势并将获取的手势信息传输至计算模块；利用所述计算模块进行手势识别并生成手势反馈信息，根据所述手势反馈信息发射出超声波提供触觉反馈。本专利技术还提供了另一种利用上述集成手势识别与超声波触觉反馈的装置进行超声波手势识别和触觉反馈的方法，包括：选择虚拟环境，并将虚拟环境信息发送至集成手势识别与超声波触觉反馈的装置；所述集成手势识别与超声波触觉反馈的装置实时采集处于手套本体内的人手的手势并将获取的手势信息传输至终端设备；利用所述终端设备进行手势识别并生成手势反馈信息，将所述手势反馈信息传输至所述集成超声波手势识别与触觉反馈的装置；利用所述集成手势识别与超声波触觉反馈的装置接收手势反馈信息，并根据所述手势反馈信息发射出超声波提供触觉反馈。进一步地，还包括根据所述手势反馈信息来调节超声波的发射方式。进一步地，调节超声波的发射方式包括调节超声波的脉冲、调节超声波的频率、调节超声波的发射方向、调节超声波的强度中的一种或多种。本专利技术还涉及上述集成手势识别与超声波触觉反馈的装置在在虚拟现实、增强现实或混合现实中的用途。本专利技术的优点如下：(1)本专利技术触觉反馈的真实感强，可以模拟多种角度、力度的触感，进一步增加了虚拟现实体验的逼真度和沉浸度。(2)本专利技术集成手势识别到手套内部可以使使用环境变得简单，简化算法，从而提高识别速度与识别精度。(3)本专利技术将手势识别和触觉反馈集成到手套内，设备集成度高，可以完美替代手柄控制器。(4)本专利技术体积小、重量轻，可以长时间穿戴和操作。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。图1为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的装配示意图。图2为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的功能单元的结构示意图。图3为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的功能单元的另一结构示意图。图4为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的另一功能单元的布置示意图。图5为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的结构示意图。图6为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的操作流程图。图7为本专利技术实施例提供的集成手势识别与超声波触觉反馈的装置的另一操作流程图。图中附图标记如下：1-手套本体2-功能单元201-超声波探头202-摄像头203-照明单元3-控制模块4-通讯模块5-计算模块6-集成电路板具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而本文档来自技高网...

【技术保护点】
一种集成手势识别与超声波触觉反馈的装置，其特征在于，包括：手套本体；以及镶嵌在所述手套本体上的多个功能单元，所述功能单元用于对处于所述手套本体内的人手进行手势数据采集并根据采集到的人手手势数据对所述人手提供超声波触觉反馈。

【技术特征摘要】
1.一种集成手势识别与超声波触觉反馈的装置，其特征在于，包括：手套本体；以及镶嵌在所述手套本体上的多个功能单元，所述功能单元用于对处于所述手套本体内的人手进行手势数据采集并根据采集到的人手手势数据对所述人手提供超声波触觉反馈。2.根据权利要求1所述的集成手势识别与超声波触觉反馈的装置，其特征在于，所述多个功能单元包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件，其中，所述多个功能单元中的第一功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少一种，所述多个功能单元中的第二功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少另一种，所述多个功能单元中的第三功能单元包括所述摄像头、所述照明单元以及所述超声波喷头组件中的至少其余一种。3.根据权利要求1所述的集成手势识别与超声波触觉反馈的装置，其特征在于，每个功能单元均包括用于获取人手手势数据的摄像头、为所述摄像头提供光线的照明单元以及超声波喷头组件。4.根据权利要求1所述的集成手势识别与超声波触觉反馈的装置，其特征在于，还包括计算模块，所述计算模块用于对采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。5.根据权利要求2所述的集成手势识别与超声波触觉反馈的装置，其特征在于，还包括计算模块，所述计算模块用于对所述摄像头采集到的手势数据进行计算处理，进行手势识别，并生成手势反馈信息。6.根据权利要求5所述的集成手势识别与超声波触觉反馈的装置，其特征在于，还包括控制模块以及通讯模块，所述控制模块用于接收所述手势反馈信息并根据所述手势反馈信息控制所述超声波喷头组件发出超声波。7.根据权利要求2所述的集成手势识别与超声波触觉反馈的装置，其特征在于，所述超声波喷头组件包括至少一个超声波喷头。8.根据权利要求6所述的集成手势识别与超声波触觉反馈的装置，其特征在于，所述通讯模块为USB模块、蓝牙模块、GPRS/3G/4G/5G模块、WiFi模块、ZigBee模块或特定协议的网络通讯模块中的一种或多种。9.根据权利要求2至8中的任一项所述的集成手势识别与超声波触觉反馈的装置，其特征在于，所述集成手势识别与超声波触觉反馈的装置还包括内置的电池和/或能够与外部电源以有线或无线的方式连接的电源接口。10.根据权利要求1至8中的任一项所述的集成手势识别与超声波触觉反馈的装置，其特征...

【专利技术属性】
技术研发人员：袁昱，
申请(专利权)人：深识全球创新科技北京有限公司，
类型：发明
国别省市：北京,11