一种VR场景下人机协同抓取物体的方法技术

本发明专利技术提供了一种VR场景下人机协同抓取物体的方法，属于虚拟现实技术领域。该方法包括：同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据所述视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果；根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作。利用本发明专利技术能够协助用户准确高效地操作自己想要交互的虚拟物体。

A method of human-machine cooperative grasping objects in VR scene

【技术实现步骤摘要】
一种VR场景下人机协同抓取物体的方法
本专利技术属于虚拟现实
，具体涉及一种VR场景下人机协同抓取物体的方法。
技术介绍
虚拟现实(VR)技术是当今时代技术发展的产物，结合多种人机交互接口技术，可以为用户提供多通道输入和感知的接口。然而，在人们真正使用虚拟现实技术进行交互的过程中，往往存在3D虚拟物体由于距离过远和遮挡的原因使得用户并不能准确高效的操作自己想要交互的虚拟物体。
技术实现思路
本专利技术的目的在于解决上述现有技术中存在的难题，提供一种VR场景下人机协同抓取物体的方法，能够协助用户准确高效地操作自己想要交互的虚拟物体。本专利技术是通过以下技术方案实现的：一种VR场景下人机协同抓取物体的方法，包括：同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据所述视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果；根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作。具体的，所述采集人手的视频信号，根据视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果的操作包括：步骤A1，采集人手的视频信号，从所述视频信号中获取人手的深度图像以及人手的三维估计，将人手的三维估计中的各个节点映射到虚拟场景中的虚拟人手上，驱动虚拟人手的运动；步骤A2.通过虚拟人手的运动方向和虚拟人手的手掌垂直向量获得虚拟人手的抓取方向，以及虚拟人手与虚拟物体的位置关系，即手势识别结果。所述步骤A2的操作包括：利用下式计算t帧的抓取方向：其中为虚拟场景中的虚拟人手的运动方向，Pt表示t帧时刻的手掌节点P的坐标，表示虚拟场景中的虚拟人手的手掌的垂直向量，I0t和M0t表示t帧时刻的虚拟人手的食指的第一个关节点、中指的第一个关节点的坐标；θ为和之间的夹角；判断θ是否小于10，如果是，则利用下式计算抓取方向Dir：如果否，则不做任何处理；假设虚拟场景中一个虚拟物体的重心坐标为O，其与虚拟人手之间的向量表示为两者之间的距离为利用下式计算出抓取方向与向量之间的夹角，即虚拟人手与虚拟物体之间的位置关系：所述采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果的操作包括：步骤B1.采集用户的音频信号；步骤B2.对所述音频信号进行语音识别和语义分析获得语音识别结果，所述语音识别结果包括：主动对象、动作、属性和被动对象。所述根据所述手势识别结果和语音识别结果进行场景主动转换的操作包括：步骤C1，情景感知：判断虚拟人手当前是否处于抓取物体状态，如果是，则当前虚拟人手所指向的主动对象为绑定的虚拟物体，如果否，则虚拟人手指向的主动对象为虚拟人手本身；步骤C2.主动对象感知：判断虚拟人手和语音识别结果中的主动对象是否为同一个，如果是，则进入步骤C3，如果否，则进行主动对象转换，然后再返回步骤C2；步骤C3.接近对象关系感知：判断虚拟场景中是否存在想要接近的物体，如果是，则将虚拟场景的视角随着主动对象的移动向该物体拉近，拉近到设定距离时，转入步骤C4，如果否，则返回步骤C3；步骤C4.判断在虚拟场景中是否存在虚拟物体将被动对象遮挡住，如果是，则该虚拟物体为遮挡物体，将被动对象的坐标与遮挡物体的坐标进行互换，然后转入步骤C5，如果否，则转入步骤C5；步骤C5.用户与虚拟场景进行交互。所述步骤C2中的所述主动对象转换的操作包括：将语音识别结果中的主动对象作为被动对象；将虚拟人手指向的主动对象作为语音识别结果中的主动对象。所述步骤C3中的判断虚拟场景中是否存在想要接近的物体的操作包括：判断虚拟场景中的物体O(x1,y1,z1)是否满足以下条件：γt＜10且如果是，则判定存在想要接近的物体，如果否，则判定不存在想要接近的物体。所述步骤C3中的所述将虚拟场景的视角随着主动对象的移动向该物体拉近的操作包括：设虚拟场景中的摄像机的原坐标为C(x2,y2,z2)，随着主动对象的移动，视角也向着想要接近的物体移动，利用下式计算摄像机的新坐标Ct(x,y,z)：所述步骤C3中的所述设定距离为：摄像机的新坐标与想要接近的物体的距离小于等于10。所述步骤C4中的判断在虚拟场景中是否存在虚拟物体将被动对象遮挡住的操作包括：为虚拟场景中的每一个物体设置一个包围盒；从摄像机的坐标沿z轴方向扫描，直到被动对象的坐标点，在扫描过程中判断是否存在一个虚拟物体的包围盒在z轴方向上的投影与被动对象的包围盒相交，如果是，则判定存在虚拟物体将被动对象遮挡住，如果否，则判定不存在虚拟物体将被动对象遮挡住。与现有技术相比，本专利技术的有益效果是：利用本专利技术能够协助用户准确高效地操作自己想要交互的虚拟物体。附图说明图1为本专利技术方法的步骤框图；图2为本专利技术方法所使用的虚拟人手；图3为本专利技术方法的语法规则；图4为本专利技术方法中的虚拟场景主动转换步骤框图。具体实施方式下面结合附图对本专利技术作进一步详细描述：本专利技术通过InterRealSense进行手势估计并驱动虚拟人手，利用科大讯飞语音识别SDK识别用户的语音输入，即音频信号，然后对识别出的语音进行语法分割得到用户的操作意图，通过对3D虚拟场景的情景感知使场景主动变换协助用户完成操作。本专利技术方法的步骤如图1所示，包括：同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果，即图1中的场景感知；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果，即图1中的用户意图推理；根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作。具体的，所述手势识别是采集人手的视频信号，根据视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果的操作包括：步骤A1.通过InterRealSense获取人手的深度图像，通过InterRealSense本身自带的SDK得到真实人手的三维估计，然后将真实人手的三维估计中的21个节点(如图2所示，21个节点包括每根手指的4个节点和一个手掌节点，所有的手指均是从手掌节点延伸出来的，21个节点具体如下：手掌节点P、拇指上从手掌节点向指尖方向依次为第一个节点T0到第4个节点T3，食指上从手掌节点向指尖方向依次为第一个节点I0到第4个节点I3，中指上的从手掌节点向之间方向依次为第一个节点M0到第4个节点M3，无名指上从手掌节点向指尖方向依次为第一个节点R0到第4个节点R3，小指上的从手掌节点向之间方向依次为第一个节点L0到第4个节点L3。)映射本文档来自技高网...

【技术保护点】
1.一种VR场景下人机协同抓取物体的方法，其特征在于：所述方法包括：/n同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据所述视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果；/n根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作。/n

【技术特征摘要】
1.一种VR场景下人机协同抓取物体的方法，其特征在于：所述方法包括：
同时进行手势识别和语音识别，其中，所述手势识别是采集人手的视频信号，根据所述视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果；所述语音识别是采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果；
根据所述手势识别结果和语音识别结果进行场景主动转换，协助用户完成操作。


2.根据权利要求1所述的VR场景下人机协同抓取物体的方法，其特征在于：所述采集人手的视频信号，根据视频信号驱动虚拟场景中的虚拟人手的运动，并获得手势识别结果的操作包括：
步骤A1，采集人手的视频信号，从所述视频信号中获取人手的深度图像以及人手的三维估计，将人手的三维估计中的各个节点映射到虚拟场景中的虚拟人手上，驱动虚拟人手的运动；
步骤A2.通过虚拟人手的运动方向和虚拟人手的手掌垂直向量获得虚拟人手的抓取方向，以及虚拟人手与虚拟物体的位置关系，即手势识别结果。


3.根据权利要求2所述的VR场景下人机协同抓取物体的方法，其特征在于：所述步骤A2的操作包括：
利用下式计算t帧的抓取方向：









其中为虚拟场景中的虚拟人手的运动方向，Pt表示t帧时刻的手掌节点P的坐标，表示虚拟场景中的虚拟人手的手掌的垂直向量，I0t和M0t表示t帧时刻的虚拟人手的食指的第一个关节点、中指的第一个关节点的坐标；θ为和之间的夹角；
判断θ是否小于10，如果是，则利用下式计算抓取方向Dir：



如果否，则不做任何处理；
假设虚拟场景中一个虚拟物体的重心坐标为O，其与虚拟人手之间的向量表示为两者之间的距离为
利用下式计算出抓取方向与向量之间的夹角，即虚拟人手与虚拟物体之间的位置关系：





4.根据权利要求1所述的VR场景下人机协同抓取物体的方法，其特征在于：所述采集用户的音频信号，对音频信号进行识别和语义分析，根据语义分析得到语音识别结果的操作包括：
步骤B1.采集用户的音频信号；
步骤B2.对所述音频信号进行语音识别和语义分析获得语音识别结果，所述语音识别结果包括：主动对象、动作、属性和被动对象。


5.根据权利要求1所述的VR场景下人机协同抓取物体的方法，其特征在于：所述根据所述手势识别结果和语音识别结果进行场景主动转换的操作包括：
步骤C1，情景感知：判断虚拟人手当前是否处于抓取物体状...

【专利技术属性】
技术研发人员：冯志全，李健，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37