一种VR沉浸式体验系统、控制方法、介质、设备及终端技术方案

本发明专利技术属于虚拟现实技术领域，公开了一种VR沉浸式体验系统、控制方法、介质、设备及终端，定义表示旋转的单位四元数，使用动作捕捉系统解析用户的头部位置并校正用户的头部方向以匹配地面实况；构建互补滤波器，用于信号处理中的低通和高通噪声滤波的通用滤波器，并适用于单位四元数，获得IMU的平滑旋转；构建同步独立的同地客户端并进行依靠位置校准进行同步，最后利用需要进行SLAM跟踪的相机进行同位跟踪。本发明专利技术首次创新地完成了基于大空间多人协作的VR沉浸式体验系统，采用Inside

【技术实现步骤摘要】
一种VR沉浸式体验系统、控制方法、介质、设备及终端


[0001]本专利技术属于虚拟现实
，尤其涉及一种VR沉浸式体验系统、控制方法、介质、设备及终端。

技术介绍

[0002]目前，虚拟现实(VR)技术本身具有极强的沉浸性、多感知性以及交互性，VR在旅游业中的应用是对传统旅游业的一种技术创新。在当今互联网、AI与大众旅游时代，“VR+旅游”吸引了越来越多的行业关注，2020年。目前，虚拟现实(VR)技术主要有三种类型应用于旅游领域。第一种是虚拟展馆(简称VRP
‑
MUSEUM)，主要采用全景技术和三维仿真技术，可最大限度地提升现实展馆及展品的宣传效果，让公众通过互联网即能真实感受展馆及展品，并能在线参与各种体验。第二种是VR+旅游，是虚拟现实技术加大场景建模技术的三维空间共享服务视觉感知系统。第三种是在旅游目的地营销中使用VR沉浸交互体验，这类应用中AR技术所占比重较高，把旅游目的地历史、故事、文化等虚拟出来，叠加到现实场景中，改变了目前仅靠解说或音频、视频的单一介绍方式，一定程度上消除了游客无法互动的遗憾。
[0003]但目前国内所开发的旅游场景中虚拟现实(VR)技术主要是针对个人的人机交互，普遍缺少多人玩家之间的互动与协作。因此，个人玩家在虚拟现实的户外旅游场景体验过程中难免感到“一个人在战斗”的孤独感，从而旅游场景虚拟现实(VR)的真实感体验大打折扣，最终导致项目参与游客的体验感知评价不高，对虚拟现实(VR)技术在旅游场景中的应用前景产生负面影响。因此，近年来在虚拟现实(VR)的应用中开发大空间多人协作互动的沉浸式场景成为了一个有广泛前景和挑战的方向。
[0004]通过上述分析，现有技术存在的问题及缺陷为：
[0005](1)硬件成本高、体验场地局限：目前VR沉浸式体验系统的硬件设备价格较高，高端设备更是昂贵，因此普及面较窄。由于VR沉浸式体验系统需要大面积的场地才能进行体验，因此其应用场所受到一定的限制。
[0006](2)社交性不强、虚拟体验不逼真：由于VR沉浸式体验系统主要依赖于个人的体验，因此其社交性不如其他娱乐方式，例如电影、游戏等。目前国内所开发的旅游场景中虚拟现实(VR)技术主要是针对个人的人机交互，普遍缺少多人玩家之间的互动与协作。VR沉浸式体验系统目前主要是以单人或少数人为主体的个人体验，尚无法实现多人互动、合作或竞争等模式的体验。个人玩家在虚拟现实的户外旅游场景体验过程中难免感到“一个人在战斗”的孤独感，从而旅游场景虚拟现实(VR)的真实感体验大打折扣。个人作战的体验导致项目参与游客的体验感知评价不高，对虚拟现实(VR)技术在旅游场景中的应用前景产生负面影响。
[0007](3)内容更新慢：VR沉浸式体验系统需要大量的内容来支持其使用，但现在的内容更新速度相对较慢，且内容的品质参差不齐，限制了用户对VR沉浸式体验系统的使用。
[0008](4)舒适感与安全问题：使用VR沉浸式体验系统需要戴上头盔等硬件设备，且体验时间较长后容易引起头晕、恶心等不适感，限制了其使用时间。由于在使用VR沉浸式体验系
统时，用户处于虚拟世界中，有可能忽略周围的现实环境，可能会对用户的安全造成一定的威胁。

技术实现思路

[0009]针对现有技术存在的问题，本专利技术提供了一种VR沉浸式体验系统、控制方法、介质、设备及终端，尤其涉及一种基于大空间多人协作的VR沉浸式体验系统、控制方法、介质、设备及终端。
[0010]本专利技术主要创新在于设计了一种VR沉浸式体验系统控制方法，该VR沉浸式体验系统控制方法包括：采用Inside
‑
out空间定位技术，构建互补滤波器并获得IMU的平滑旋转；构建同步独立的同地客户端并进行校准，利用MR设备实现虚拟场景里的空间定位以及大规模的人机交互，使多个体验者在同一虚拟场景中进行同步自由行动和即时交互，从而最大程度还原户外旅游场景体验的真实感。
[0011]该改进后的VR沉浸式体验系统控制方法具体包括以下步骤：
[0012]步骤一，定义表示旋转的单位四元数，使用动作捕捉系统解析用户的头部位置并校正用户的头部方向以匹配地面实况；
[0013]步骤二，构建互补滤波器，用于信号处理中的低通和高通噪声滤波的通用滤波器，并适用于单位四元数，获得IMU的平滑旋转；
[0014]步骤三，构建同步独立的同地客户端并进行依靠位置校准进行同步，最后利用需要进行SLAM跟踪的相机进行同位跟踪。
[0015]具体而言，进一步细化阐述：
[0016](1)步骤一中，定义以下表示旋转的单位四元数：令R
G
为GearVR IMU报告的旋转，R
M
为运动捕捉系统报告的旋转；令R
C
为相机旋转偏移量，R
U
为用户在头组中看到的最终旋转，R
U
＝R
C
R
G
；最后，令α为0和1之间的参数。
[0017]使用球形线性插值法SLERP让R
U
推移平稳接近R
M
。随着时间的移动R
U
到R
M
将用户视图移动到ground truth以进行初始化和漂移校正。对于四元数q,r和实数α∈[0,1]，SLERP(q,r,α)被定义为等于(rq
‑1)
α
q。对于从R
U
到R
M
，存在：
[0018]其中，R
U0
状态R
U
，R
U1
的更新状态R
U
；R
G
和R
M
是只读变量，且R
U
＝R
C
R
G
；
[0019]使R
C
渐近逼近R
M
R
‑
1G
，故R
U
将接近R
M
。
[0020](2)步骤二中，通过构建互补滤波器，用于信号处理中的低通和高通噪声滤波的通用滤波器，并适用于四元数。参数α定义系统受地面实况旋转RM。如果α接近于零，则主要依赖IMU；如果接近1，则主要依赖运动捕捉系统。
[0021]当完全依赖动作捕捉系统时，选择一个α利用每个系统优势找到最佳结果α；通过根据地面实况报告(R
M
)和计算出的旋转(R
U
)α＝1，使得R
U
初始化为R
M
，并调整为基本事实，同时主要依靠VR头盔旋转。
[0022]在偏航角上执行角度LERP球形LERP(ALERP)ALERP被定义为线性插值的变化
°
到360
°
弧度。如果将θ
C
为给定帧中的相机偏航旋转，将θ
D
定义为四元数R
M
R
‑
1G<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种VR沉浸式体验系统控制方法，其特征在于，包括：采用Inside
‑
out空间定位技术，构建互补滤波器并获得IMU的平滑旋转；构建同步独立的同地客户端并进行校准，利用MR设备实现虚拟场景里的空间定位以及大规模的人机交互，使多个体验者在同一虚拟场景中进行同步自由行动和即时交互，从而最大程度还原户外旅游场景体验的真实感。2.如权利要求1所述的VR沉浸式体验系统控制方法，其特征在于，VR沉浸式体验系统控制方法包括以下步骤：步骤一，定义表示旋转的单位四元数，使用动作捕捉系统解析用户的头部位置并校正用户的头部方向以匹配地面实况；步骤二，构建互补滤波器，用于信号处理中的低通和高通噪声滤波的通用滤波器，并适用于单位四元数，获得IMU的平滑旋转；步骤三，构建同步独立的同地客户端并进行依靠位置校准进行同步，最后利用需要进行SLAM跟踪的相机进行同位跟踪。3.如权利要求2所述的VR沉浸式体验系统控制方法，其特征在于，步骤一中，定义以下表示旋转的单位四元数：令R
G
为GearVR IMU报告的旋转，R
M
为运动捕捉系统报告的旋转；令R
C
为相机旋转偏移量，R
U
为用户在头组中看到的最终旋转，R
U
＝R
C
R
G
；最后，令α为0和1之间的参数；使用球形线性插值法SLERP让R
U
推移平稳接近R
M
；随着时间的移动R
U
到R
M
将用户视图移动到ground truth以进行初始化和漂移校正；对于四元数q,r和实数α∈[0,1]，SLERP(q,r,α)被定义为等于(rq
‑1)
α
q；对于从R
U
到R
M
，存在：其中，R
U0
状态R
U
，R
U1
的更新状态R
U
；R
G
和R
M
是只读变量，且R
U
＝R
C
R
G
；使R
C
渐近逼近R
M
R
‑
1G
，故R
U
将接近R
M
。4.如权利要求2所述的VR沉浸式体验系统控制方法，其特征在于，步骤二中，通过构建互补滤波器，用于信号处理中的低通和高通噪声滤波的通用滤波器，并适用于四元数；参数α定义系统受地面实况旋转RM；如果α接近于零，则主要依赖IMU；如果接近1，则主要依赖运动捕捉系统；当完全依赖动作捕捉系统时，选择一个α利用每个系统优势找到最佳结果α；通过根据地面实况报告(R
M
)和计算出的旋转(R
U
)α＝1，使得R

【专利技术属性】
技术研发人员：舒伯阳，阮先炳，
申请(专利权)人：中南财经政法大学，
类型：发明
国别省市：