一种基于手势识别的增强显示交互方法和头戴式显示设备技术

本发明专利技术提供了一种基于手势识别的增强显示交互方法和头戴式显示设备，涉及数据处理技术领域，包括：建立虚拟目标对象，所述虚拟目标对象包括第一操作点和第二操作点；通过头戴式显示设备的传感器采集手部图像，并采用手势识别模型实时确定用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向；通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，当用户手掌朝向改变时结束所述第一操作；根据用户两个手指的指尖变化对所述目标虚拟对象进行第二操作，获取手部的深度信息，根据用户手部的深度信息的变化结束所述第二操作，解决现有

【技术实现步骤摘要】
一种基于手势识别的增强显示交互方法和头戴式显示设备


[0001]本专利技术涉及数据处理
，尤其涉及一种基于手势识别的增强显示交互方法和头戴式显示设备
。

技术介绍

[0002]目前，增强现实
(AugmentedReality
，简称
AR)
，是通过计算机系统提供的信息增加用户对现实世界感知的技术
。AR
技术能够将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体
、
场景或系统提示信息通过头戴式显示设备例如
AR
眼镜，叠加到用户能够看到的真实场景中，从而实现对用户现实感知的增强
。
现有
AR
技术中，为了提高用户的体验，除了单纯地将虚拟的
AR
场景叠加到头戴式显示设备中，用户还可以通过操作头戴式显示设备的手柄等控制装置，操作
AR
场景中特定的
AR
虚拟模型进行移动
。
例如，用户通过操作手柄的方向按键控制
AR
场景中的
AR
虚拟人物在
AR
场景中进行走动
。
[0003]此外，现有技术中出现了对
AR
目标进行简单操控的方法，如点击
、
旋转
、
拖动等，提高了
AR
交互的智能化程度
。
其方法是：通过摄像头进行手部检测和手势识别，并将其映射到操作指令上；将其坐标与
AR
目标进行映射联系，然后随着手势的改变，对
AR
目标进行操作，但是现有对于复杂的手势，如连续的手指运动
、
手势序列等，目前的手势识别技术可能无法准确地捕捉和解释，识别准确性较低，还可能需要较长的处理时间，无法满足实时交互的需求
。

技术实现思路

[0004]为了克服上述技术缺陷，本专利技术的目的在于提供一种基于手势识别的增强显示交互方法和头戴式显示设备，以解决现有
AR
交互方法识别准确率不够且处理时间较长的问题
。
[0005]本专利技术公开了一种基于手势识别的增强现实交互方法，应用于头戴式显示设备，包括：
[0006]建立虚拟目标对象，所述虚拟目标对象包括第一操作点和第二操作点，其中，所述第一操作点用于触发第一操作，所述第二操作点用于触发第二操作；
[0007]通过头戴式显示设备的传感器采集手部图像，并采用手势识别模型实时确定用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向；
[0008]通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，当用户手掌朝向改变时结束所述第一操作；
[0009]根据用户两个手指的指尖变化对所述目标虚拟对象进行第二操作，获取手部的深度信息，根据用户手部的深度信息的变化结束所述第二操作
。
[0010]优选地，在进行所述第一操作或所述第二操作前，还包括：
[0011]将用户手部与所述虚拟目标对象关联，以对所述虚拟目标对象进行所述第一操作或所述第二操作
。
[0012]优选地，所述将用户手部与所述虚拟目标对象关联，包括：
[0013]当通过所述手势识别模型确定用户手掌朝向为预设方向且单个手指的指尖覆盖所述第一操作点，则将所述用户手部与所述虚拟目标对象关联，以触发所述第一操作；
[0014]当通过所述手势识别模型确定用户两个手指的指尖覆盖所述第二操作点，则将用户手部与虚拟目标对象关联，以触发第二操作
。
[0015]优选地，所所述通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，进一步包括：
[0016]获取手部的深度信息，当所述单个手指的指尖与所述头戴式显示设备之间的深度信息的变化满足第一预设条件时，对所述虚拟目标对象进行第一操作
。
[0017]优选地，所述根据用户两个手指的指尖变化对所述目标虚拟对象进行第二操作，包括：
[0018]基于所述手势识别模型确定所述用户两个手指的指尖之间的距离变化，以执行对所述虚拟目标对象的缩放操作；
[0019]和
/
或，基于所述手势识别模型确定所述用户两个手指的指尖的移动方向和距离，以执行对所述虚拟目标对象的旋转操作
。
[0020]优选地，所述根据用户手部的深度信息的变化结束所述第二操作，包括：
[0021]当根据所述用户手部的深度信息确定所述用户的两个手指的指尖与所述头戴式显示设备之间的深度信息的变化满足第二预设条件时，则结束执行对所述虚拟目标对象的第二操作
。
[0022]优选地，基于所述第一操作和
/
或所述第二操作调整所述虚拟目标对象的第一操作点和
/
或所述第二操作点的呈现状态信息
。
[0023]优选地，所述头戴式显示设备上包括图像采集模块和距离传感设备，以分别用于采集用户手部图像和用户手部的深度信息
。
[0024]优选地，所述通过头戴式显示设备的传感器采集手部图像，并采用手势识别模型实时确定用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向，包括：
[0025]向手势识别模型输入手部图像，所述手势识别模型包含多个堆叠的特征提取模块，对输入的所述图像依次采用多个堆叠的特征提取模块进行特征提取，得到预设尺寸的特征图；
[0026]将所述预设尺寸的特征图通过维度展开层展开为一维向量，并采用全连接层进行手部关键点的回归预测以得到手部关键点的坐标；
[0027]通过所述手部关键点的坐标之间的组合关系以获取用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向
。
[0028]本专利技术还提供一种头戴式显示设备，包括：
[0029]基础模块，用于建立虚拟目标对象，所述虚拟目标对象包括第一操作点和第二操作点，其中，所述第一操作点用于触发第一操作，所述第二操作点用于触发第二操作；
[0030]识别模块，用于通过头戴式显示设备的传感器采集手部图像，并采用手势识别模型实时确定用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向；
[0031]操作模块，用于通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，当用户手掌朝向改变时结束所述第一操作；根据用户两个手指的指尖变化对所述目标虚拟对
象进行第二操作，获取手部的深度信息，根据用户手部的深度信息的变化结束所述第二操作
。
[0032]采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0033]本申请提供的基于手势识别的增强现实交互方法和头戴式显示设备，通过设置用于单指操作的第一操作点和用于双指操作的第二操作点，将用户手部和虚拟目标对象关联，利用手势识别模型，结合传感器监测手部的深度信息，提高实时性，降低操作延迟，解决现有
AR
交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于手势识别的增强现实交互方法，其特征在于，应用于头戴式显示设备，包括：建立虚拟目标对象，所述虚拟目标对象包括第一操作点和第二操作点，其中，所述第一操作点用于触发第一操作，所述第二操作点用于触发第二操作；通过头戴式显示设备的传感器采集手部图像，并采用手势识别模型实时确定用户手部信息，其中，所述手部信息包括指尖位置和手掌朝向；通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，当用户手掌朝向改变时结束所述第一操作；根据用户两个手指的指尖变化对所述目标虚拟对象进行第二操作，获取手部的深度信息，根据用户手部的深度信息的变化结束所述第二操作
。2.
根据权利要求1所述的交互方法，其特征在于，在进行所述第一操作或所述第二操作前，还包括：将用户手部与所述虚拟目标对象关联，以对所述虚拟目标对象进行所述第一操作或所述第二操作
。3.
根据权利要求2所述的交互方法，其特征在于，所述将用户手部与所述虚拟目标对象关联，包括：当通过所述手势识别模型确定用户手掌朝向为预设方向且单个手指的指尖覆盖所述第一操作点，则将所述用户手部与所述虚拟目标对象关联，以触发所述第一操作；当通过所述手势识别模型确定用户两个手指的指尖覆盖所述第二操作点，则将用户手部与虚拟目标对象关联，以触发第二操作
。4.
根据权利要求1所述的交互方法，其特征在于，所述通过用户单个手指的指尖对所述虚拟目标对象进行第一操作，进一步包括：获取手部的深度信息，当所述单个手指的指尖与所述头戴式显示设备之间的深度信息的变化满足第一预设条件时，对所述虚拟目标对象进行第一操作
。5.
根据权利要求1所述的交互方法，其特征在于，所述根据用户两个手指的指尖变化对所述目标虚拟对象进行第二操作，包括：基于所述手势识别模型确定所述用户两个手指的指尖之间的距离变化，以执行对所述虚拟目标对象的缩放操作；和
/
或，基于所述手势识别模型确定所述用户两个手指的指尖的移动方向和距离，以执行对所述虚拟目标对象的旋转操作
。6.
根据权利要求1所述的交...

【专利技术属性】
技术研发人员：李才博，耿昌彪，高选得，田仁军，
申请(专利权)人：昭通亮风台信息科技有限公司，
类型：发明
国别省市：