一种基于VR的人体关键点数据扩充的方法技术

本发明专利技术涉及一种基于VR的人体关键点数据扩充的方法，属于信息化领域。该方法包括以下步骤：同步VR HMD与相机连接设备的时间服务，使VR HMD的传感器数据获取频率与相机的拍摄频率保持一致；建立以相机光圈中心为原点的相机坐标系，以用户正下方地面为原点的世界坐标系；将相机摆放于用户正前方，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；判断2D像素坐标(u,v)是否达到所需数据量。通过VR HMD与RGB相机，获取不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识别模型，让模型的精度、稳定性都得到极大提升。定性都得到极大提升。定性都得到极大提升。

【技术实现步骤摘要】
一种基于VR的人体关键点数据扩充的方法


[0001]本专利技术属于信息化领域，涉及一种基于VR的人体关键点数据扩充的方法。

技术介绍

[0002]利用VR技术实现的在线平台中，用户都以化身的方式存在于虚拟场景。这些化身能跟随用户移动，但具体动作需要用户主动选择，化身无法直接同步用户的动作，这种情况无疑会降低虚拟世界的沉浸感。通过深度学习的方式自动识别用户的动作，这需要动作数据作为输入，动作数据有多种模态，各有优劣。
[0003]动作识别的数据集中，根据数据模态主要分为RGB视频数据集、深度视频数据集和人体骨骼序列数据集。其中人体骨骼序列也可以被称为人体关键点，3D人体关键点可以通过深度相机获得，也可以利用双目相机和关键点提取算法获得。2D人体关键点可以通过RGB视频与关键点提取算法获得，具体数据为人体某个关键点(如脖子、左右眼)在RGB图片中的2D像素坐标。使用2D人体关键点也可以用于动作识别，但同一个动作采集的RGB视频、2D、3D关键点三种数据分别用于动作识别时，使用2D关键点的效果往往不如使用RGB视频或3D人体关键点的效果。但采用人体关键点进行动作识别，相比RGB视频的优势在于不容易受光照影响，能更好保护用户隐私。
[0004]为了提升2D关键点用作动作识别的效果，可以通过增加同一个动作以不同角度、距离拍摄图片的2D关键点的数据来实现。一般而言这需要能覆盖不同角度、距离的RGB视频。用于动作识别的RGB视频数据集可以通过收集网络视频或自行拍摄得到，不管是网络视频还是自行拍摄，都无法覆盖到所有合理拍摄角度。
[0005]在没有深度相机，但有VRHMD(虚拟现实头戴显示器)的情况下，可以利用VRHMD提供的深度信息实现2D与3D之间的坐标转换。在人体运动过程中鼻子、脖子与左右肩的深度信息与VRHMD采集的深度信息基本一致。一帧下，人体某个关键点在空间中的3D世界坐标系是固定的，但是在拍摄照片中关键点对应的2D像素坐标，根据拍摄的角度、距离，会被映射到不同位置，这种映射关系如图1所示。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种基于VR的人体关键点数据扩充的方法。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]一种基于虚拟现实VR的人体关键点数据扩充的方法，该方法包括以下步骤：
[0009]S1：用户戴上虚拟现实头戴式显示器VR HMD；
[0010]S2：同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致；
[0011]S3：建立以相机光圈中心为原点O
c
的相机坐标系，坐标轴为X
c
、Y
c
和Z
c
；建立以用户正下方地面为原点O
w
的世界坐标系，坐标轴为X
w
、Y
w
和Z
w
；将相机摆放于用户正前方一定距离处，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动
作的RGB视频；
[0012]S4：提取每帧的关键点2D像素坐标和HMD传感器数据；
[0013]S5：计算相机相对世界坐标系原点O
w
平移、旋转后的偏移向量T和旋转矩阵R；
[0014]S6：利用关键点提取方法，从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v)；
[0015]S7：使用基于标定物的相机标定方法，获取相机内参f；
[0016]S8：利用相机成像原理，通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v)，获取到对应点的世界坐标系(X
w
,Y
w
,Z
w
)；
[0017]S9：计算关键点的3D世界坐标系(X
w
,Y
w
,Z
w
)；
[0018]S10：计算所需拍摄角度、位置的偏移向量T和旋转矩阵R；
[0019]S11：计算新相机位置下对应关键点的2D像素坐标(u,v)，并保存；
[0020]S12：判断2D像素坐标(u,v)是否达到所需数据量；若达到，则结束程序；若没有达到，则返回S10。
[0021]可选的，所述用户动作包括趴坐、点头和起立。
[0022]可选的，所述偏移向量T的计算公式如下：
[0023][0024]所述旋转矩阵R的计算公式如下：
[0025][0026]R＝RxRyRz
[0027]其中，θ、和σ分别为绕x、y和z轴旋转的角度，Y0为相机坐标原点O
c
相对世界坐标原点O
w
，Y轴方向上的距离；Z0为相机坐标原点O
c
相对世界坐标原点O
w
，Z轴方向上的距离。
[0028]可选的，所述世界坐标系(X
w
,Y
w
,Z
w
)的计算公式如下：
[0029][0030]其中，Z
vr
为用户运动过程中VR传感器获取到深度信息，(u0,v0)为图像分辨率的一半。
[0031]可选的，所述S11中2D像素坐标(u,v)的计算公式如下：
[0032][0033]本专利技术的有益效果在于：通过VR HMD与普通RGB相机，获取了大量不同拍摄角度、位置下的人体关键点训练数据。将扩充的2D人体关键点数据结合VR传感器数据训练动作识
别模型，让模型的精度、稳定性都得到极大提升。
[0034]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0035]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0036]图1为映射关系图；
[0037]图2为拍摄示意图；
[0038]图3为相机旋转后拍摄示意图；
[0039]图4为本专利技术流程图。
具体实施方式
[0040]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0041]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：该方法包括以下步骤：S1：用户戴上虚拟现实头戴式显示器VR HMD；S2：同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致；S3：建立以相机光圈中心为原点O
c
的相机坐标系，坐标轴为X
c
、Y
c
和Z
c
；建立以用户正下方地面为原点O
w
的世界坐标系，坐标轴为X
w
、Y
w
和Z
w
；将相机摆放于用户正前方一定距离处，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；S4：提取每帧的关键点2D像素坐标和HMD传感器数据；S5：计算相机相对世界坐标系原点O
w
平移、旋转后的偏移向量T和旋转矩阵R；S6：利用关键点提取方法，从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v)；S7：使用基于标定物的相机标定方法，获取相机内参f；S8：利用相机成像原理，通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v)，获取到对应点的世界坐标系(X
w
,Y
w
,Z
w
)；S9：计算关键点的3D世界坐标系(X
w
,Y
w
,Z
w

【专利技术属性】
技术研发人员：李璇，陈恒鑫，
申请(专利权)人：重庆大学，
类型：发明
国别省市：