基于视觉跟踪技术的虚拟现实游戏系统技术方案

基于视觉跟踪技术的虚拟现实游戏系统，包括人体动态视频采集模块、数据交换模块、人体动态检测与识别模块和虚拟现实环境显示模块；通过对人体的动作的识别与分析，高效地实现人与虚拟设备之间的交互，提高了游戏玩家的游戏体验感受；在对人体进行跟踪时，利用了目标运动的速度来平衡浅层与深层卷积特征的重要性，弥补了深层卷积特征缺乏目标细节带来的难以获得精确目标位置的局限性，此外，根据不同通道特征描述目标的不同信息的特点，选择性的更新描述目标信息变化的通道的卷积特征，防止累计误差的同时使得跟踪器适应外观变化的能力增强，提高了跟踪的鲁棒性，进而提高了基于视觉跟踪技术的人体动态检测与识别模块的识别效率与精度。效率与精度。效率与精度。

【技术实现步骤摘要】
基于视觉跟踪技术的虚拟现实游戏系统


[0001]本专利技术涉及虚拟现实游戏领域，具体涉及一种基于视觉跟踪技术的虚拟现实游戏系统。

技术介绍

[0002]虚拟现实游戏提供了环绕的视觉，使得游戏玩家更容易融入游戏剧情，沉浸于虚拟世界中，传统的虚拟游戏往往是通过各种传感设备附着在游戏玩家身上传输游戏玩家的状态，或者以游戏手柄作为输入，进而实现游戏玩家和虚拟的环境进行交互；但这样的游戏方式由于动作的完成十分依赖于输入的灵活性而非游戏玩家本人的灵活性，因此体验感仍需提高；随着模式识别与计算机视觉技术的快速发展通过收集游戏玩家的视频数据，利用计算机视觉技术分析视频数据，解析出游戏玩家的动作及意图，进而无需利用游戏手柄或各种传感设备实现游戏玩家和虚拟的环境的交互成为了可能，其中需要检测出人体、对人体进行跟踪及形态识别。
[0003]在对人体进行跟踪时，准确地定位人体位置对于进一步对人体形态识别具有非常重要的作用，因此对跟踪的精度具有十分高的要求，而无论是跟踪整个人体还是人体中的某个部分，都需要面对目标外观变化较大的问题，因此跟踪器需要具有适应目标变化的能力；深度卷积网络的为目标跟踪带来了具有强大表观能力的特征，但在使用深度特征时，大部分跟踪方法往往仅考虑到了深度卷积特征，深层卷积特征虽然具有目标的语义特征，提高了跟踪的鲁棒性，但难以获得目标更精确地位置，而浅层的卷积特征具有目标的外观特征，能够更精确地定位目标，部分方法考虑到了将深层卷积特征与浅层卷积特征进行融合以获得高精度的同时获得高鲁棒性，但都是简单的按照设定好的比例将深层卷积特征与浅层卷积特征进行融合，但不同情境下需要的特征差异较大，当目标运动过快造成目标运动模糊及外观变化较大时，需要深层特征提供的语义信息来提高跟踪的鲁棒性，当目标外观变化较小时，需要浅层卷积特征提供的外观信息进行精确地定位；此外大多数跟踪方法在进行目标模板的特征更新时，大多数全盘接受跟踪结果的特征，事实上，不同层卷积特征描述的是目标的不同信息，需要更新的仅仅是描述目标变化部分的通道特征，虽然部分方法利用跟踪结果的可靠性间歇性的更新目标模板的分层卷积特征，但没有选择性的接受所有的新特征，往往会造成目标模板丢失仅有的真实信息，带来累计误差。

技术实现思路

[0004]本专利技术针对上述问题，提出了一种基于视觉跟踪技术的虚拟现实游戏系统，通过设计的一种速度指导的分层特征融合与特征更新的目标跟踪算法对人体进行跟踪，能够精确地定位目标，便于后续人体形态的识别，进而实现游戏玩家与虚拟现实环境之间的交互更加高效，使得游戏玩家具有更好的体验感。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]本专利技术的基于视觉跟踪技术的虚拟现实游戏系统，所述系统包括人体动态视频采
集模块、数据交换模块、人体动态检测与识别模块和虚拟现实环境显示模块；
[0007]所述人体动态视频采集模块用于采集人体动态视频，通过摄像头对人体进行拍摄，实时获取人体动态视频，然后将获取的人体动态视频数据发送给数据交换模块，数据交换模块再发送给人体动态检测与识别模块，供人体动态检测与识别模块进行处理与分析；
[0008]所述数据交换模块用于各模块之间的数据进行交换，包含两次数据交换过程，第一次是将人体动态视频采集模块采集到的人体动态视频传输给人体动态检测与识别模块，第二次是将人体动态检测与识别模块中算法的识别结果传送给虚拟现实环境显示模块；
[0009]所述人体动态检测与识别模块用于对人体动态视频数据进行分析与处理获得人体形态，包括人体检测算法、人体跟踪算法和人体形态识别算法；所述人体检测算法用于在人体动态视频的第一帧中检测出人体并给出人体的位置数据；所述人体跟踪算法用于在人体动态视频的每一帧中定位人体，在收到人体检测算法给出的人体的位置数据后，利用设计的速度指导的分层特征融合与特征更新的目标跟踪算法在后续人体动态视频的每一帧中定位人体，给出每一帧中人体的位置数据；所述人体形态识别算法用于识别当前人体形态，利用目标跟踪算法给出的人体位置，识别目标的人体的形态；
[0010]所述虚拟现实环境显示模块用于根据人体形态显示出虚拟现实环境，并根据人体形态的变化变换虚拟现实环境。
[0011]进一步的，所述人体检测算法是利用自制的人体数据集训练的yolov5检测算法，将人体动态视频采集模块采集到的人体动态视频分解成序列图像，然后人工标注出人体位置并设置标签，按照yolov5检测算法需要的格式对数据集进行处理，最后利用该数据集训练yolov5检测算法的网络。
[0012]进一步的，所述设计的速度指导的分层特征融合与变化特征更新的目标跟踪算法跟踪流程如下：
[0013]步骤一：利用人体检测算法给出的第一帧中人体的位置数据截取出目标模板图像，利用设计的速度指导的分层特征融合方法提取目标模板图像的分层卷积特征；
[0014]步骤二：在下一帧截取搜索区域图像，利用设计的速度指导的分层特征融合方法提取搜索区域图像的分层卷积特征；
[0015]步骤三：将目标模板图像的分层卷积特征和搜索区域图像的分层卷积特征进行互相关，得到分层且具每层具有多个通道的响应图，利用设计的速度指导的分层特征融合方法将分层响应图进行融合获得最终响应图，响应图上响应值最大处为目标的位置，就是所要定位的人体的位置；
[0016]步骤四：根据分层响应图中每个通道的响应图，利用设计的变化特征更新的方法对目标模板的分层卷积特征进行更新；
[0017]步骤五：重复步骤二至步骤四直到视频结束。
[0018]进一步的，所述利用设计的速度指导的分层特征融合方法提取搜索区域图像的分层卷积特征过程如下：
[0019]将目标模板图像Z输入到VGG
‑
16网络中，提取conv3
‑
3层特征作为目标模板图像的浅层卷积特征f
l
′
(Z)，提取conv4
‑
3层特征作为目标模板图像的深层卷积特征f
d
′
(Z)，f
l
′
(
·
)表示提取图像浅层卷积特征的操作，f
d
′
(
·
)表示提取图像深层卷积特征的操作；
[0020]然后，利用TADT算法中的方法计算出浅层卷积特征中每个通道特征的重要性Δ
l
和深层卷积特征中每个通道特征的重要性Δ
d
，然后根据该重要性权重生成目标模板图像的浅层卷积特征的卷积特征子空间和深层卷积特征的卷积特征子空间：
[0021][0022][0023]其中，是利用每个通道特征的重要性筛选出特征子空间的函数，f
l
(Z)是目标模板图像的浅层卷积特征f
l
′
(Z)的卷积特征子空间，f
d
(Z)是目标模板图像的深层卷积特征f
d
′
(Z)的卷积特征子空间，获得的卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉跟踪技术的虚拟现实游戏系统，其特征在于，所述系统包括人体动态视频采集模块、数据交换模块、人体动态检测与识别模块和虚拟现实环境显示模块；所述人体动态视频采集模块用于采集人体动态视频，通过摄像头对人体进行拍摄，实时获取人体动态视频，然后将获取的人体动态视频数据发送给数据交换模块，数据交换模块再发送给人体动态检测与识别模块，供人体动态检测与识别模块进行处理与分析；所述数据交换模块用于各模块之间的数据进行交换，包含两次数据交换过程，第一次是将人体动态视频采集模块采集到的人体动态视频传输给人体动态检测与识别模块，第二次是将人体动态检测与识别模块中算法的识别结果传送给虚拟现实环境显示模块；所述人体动态检测与识别模块用于对人体动态视频数据进行分析与处理获得人体形态，包括人体检测算法、人体跟踪算法和人体形态识别算法；所述人体检测算法用于在人体动态视频的第一帧中检测出人体并给出人体的位置数据；所述人体跟踪算法用于在人体动态视频的每一帧中定位人体，在收到人体检测算法给出的人体的位置数据后，利用设计的速度指导的分层特征融合与特征更新的目标跟踪算法在后续人体动态视频的每一帧中定位人体，给出每一帧中人体的位置数据；所述人体形态识别算法用于识别当前人体形态，利用目标跟踪算法给出的人体位置，识别目标的人体的形态；所述虚拟现实环境显示模块用于根据人体形态显示出虚拟现实环境，并根据人体形态的变化变换虚拟现实环境。2.根据权利要求1所述的基于视觉跟踪技术的虚拟现实游戏系统，其特征在于，所述人体检测算法是利用自制的人体数据集训练的yolov5检测算法，将人体动态视频采集模块采集到的人体动态视频分解成序列图像，然后人工标注出人体位置并设置标签，按照yolov5检测算法需要的格式对数据集进行处理，最后利用该数据集训练yolov5检测算法的网络。3.根据权利要求1所述的基于视觉跟踪技术的虚拟现实游戏系统，其特征在于，所述设计的速度指导的分层特征融合与变化特征更新的目标跟踪算法跟踪流程如下：步骤一：利用人体检测算法给出的第一帧中人体的位置数据截取出目标模板图像，利用设计的速度指导的分层特征融合方法提取目标模板图像的分层卷积特征；步骤二：在下一帧截取搜索区域图像，利用设计的速度指导的分层特征融合方法提取搜索区域图像的分层卷积特征；步骤三：将目标模板图像的分层卷积特征和搜索区域图像的分层卷积特征进行互相关，得到分层且具每层具有多个通道的响应图，利用设计的速度指导的分层特征融合方法将分层响应图进行融合获得最终响应图，响应图上响应值最大处为目标的位置，就是所要定位的人体的位置；步骤四：根据分层响应图中每个通道的响应图，利用设计的变化特征更新的方法对目标模板的分层卷积特征进行更新；步骤五：重复步骤二至步骤四直到视频结束。4.根据权利要求3所述的基于视觉跟踪技术的虚拟现实游戏系统，其特征在于，所述利用设计的速度指导的分层特征融合方法提取搜索区域图像的分层卷积特征过程如下：将目标模板图像Z输入到VGG
‑
16网络中，提取conv3
‑
3层特征作为目标模板图像的浅层卷积特征f
l
′
(Z)，提取conv4
‑
3层特征作为目标模板图像的深层卷积特征f
d
′
(Z)，f
l
′
(
·
)表示提取图像浅层卷积特征的操作，f
d
′
(
·
)表示提取图像深层卷积特征的操作；
然后，利用TADT算法中的方法计算出浅层卷积特征中每个通道特征的重要性Δ
l
和深层卷积特征中每个通道特征的重要性Δ
d
，然后根据该重要性权重生成目标模板图像的浅层卷积特征的卷积特征子空间和深层卷积特征的卷积特征子空间：卷积特征的卷积特征子空间和深层卷积特征的卷积特征子空间：其中，是利用每个通道特征的重要性筛选出特征子空间的函数，f
l
(Z)是目标模板图像的浅层卷积特征f
l
′
(Z)的卷积特征子空间，f
d
(Z)是目标模板图像的深层卷积特征f
d
′
(Z)的卷积特征子空间，获得的卷积特征f
l
(Z)和f
d
(Z)就是最终目标模板图像的分层卷积特征；同样的方式，将第t帧搜索区域图像X
t
输入到VGG
‑
16网络中，提取conv3
‑
3层特征作为搜索区域图像的浅层卷积特征f
l
′
(X
t
)，提取conv4
‑
3层特征作为搜索区域图像的深层卷积特征；然后根据重要性权重生成搜索区域图像的浅层卷积特征的卷积特征子空间和深层卷积特征的卷积特征子空间：积特征的卷积特征子空间：其中，f
l
(X
t
)是搜索区域图像的浅层卷积特征f
l
′
(X
t
)的卷积特征子...

【专利技术属性】
技术研发人员：刘堂斌，李振权，
申请(专利权)人：刘堂斌，
类型：发明
国别省市：