利用VR和AR展示虚拟现实的系统及方法技术方案

本发明专利技术具体涉及一种利用VR和AR展示虚拟现实的系统及方法，其包括步骤：初始化AR摄像头，然后对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，即确定坐标系变换的旋转矩阵与平移矩阵；AR摄像头获取现场图像与VR场景的头戴设备中VR图像融合，将融合后图像显示，实现VR与AR共同展示。本申请对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，尤其，能够在设定AR摄像头与交互设备屏幕的夹角时以最佳的AR摄像头位姿参数对应的AR摄像头与交互设备屏幕的夹角作初设定的AR摄像头与交互设备屏幕的夹角，确保AR摄像头与交互设备屏幕的夹角对应的位姿计算量最小，确保效率更高。确保效率更高。

【技术实现步骤摘要】
利用VR和AR展示虚拟现实的系统及方法


[0001]本专利技术具体涉及一种利用VR和AR展示虚拟现实的系统及方法。

技术介绍

[0002]相关的现有技术，比如专利文献CN1073 40 870B，公开了一种融合VR和AR的虚拟现实展示技术，该技术通过融合两种虚拟现实技术来实现旁观用户可以与直接体验用户共同实现沉浸虚拟体验。
[0003]该类技术实现的核心在于通过设置VR和AR的硬件，并且进行相应的协调配合，融合的硬件设置上，首先需要服务端启动和控制摄像头对现场的场景进行拍摄，摄像头安放时有一个初始的位置，一般摄像头与屏幕的夹角在20度到60度之间，在此基础上还需要根据摄像头的坐标系、屏幕坐标系以及世界坐标系来计算变换关系，即基于视觉的姿态估算的方法，计算出在世界坐标系下的变换关系。这种变换关系通过一个旋转矩阵和一个平移矩阵来进行描述，但相关的问题在于，在确定了基本的相对的坐标系之后，矩阵的计算实质是数学问题的计算，由于初始的摄像头与屏幕的夹角具有不确定性，所以相应的矩阵计算的计算量，以及耗费的计算机资源也不一样，相关现有技术一般很难根据实时的现实场景来确定摄像头与屏幕较佳的角度关系，在很多实施中会导致后续变换关系矩阵的计算运算量大，耗费计算机资源较多，所以说，前期的姿态标定等工作完成效率也比较低。

技术实现思路

[0004]本专利技术的目的在于提供一种利用VR和AR展示虚拟现实的系统及方法，以解决上述
技术介绍
中提出的问题。
[0005]为了解决上述技术问题，本专利技术提供如下技术方案：
[0006]利用VR和AR展示虚拟现实的系统，包括有图像处理服务器以及用于显示VR场景的头戴设备、VR交互设备、用于共享的AR展示显示设备、用于采集现实场景的AR摄像头；还包括交互设备屏幕，所述交互设备屏幕与AR摄像头的夹角在展示前标定。
[0007]利用VR和AR展示虚拟现实的方法，包括步骤：初始化AR摄像头，然后对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，即确定坐标系变换的旋转矩阵与平移矩阵；AR摄像头获取现场图像与VR场景的头戴设备中VR图像融合，将融合后图像显示，实现VR与AR共同展示。
[0008]进一步，其中的对AR摄像头位姿初设定具体指根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数，并以最佳的AR摄像头位姿对位姿初设定，其中，AR摄像头位姿参数指AR摄像头与交互设备屏幕的夹角，其中根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数具体指，首先收集历史的AR摄像头位姿参数并收集在该情况下每一种AR摄像头位姿参数对应的位姿计算量；该位姿计算量指在计算AR摄像头与交互设备屏幕坐标系变换的旋转矩阵与平移矩阵时的计算量，该计算量以计算机CPU运行时间表征，然后以位姿计算量做标签，对AR摄像头位姿参数历史数据作标签，
形成带标签的AR摄像头位姿参数历史数据，并对带标签的AR摄像头位姿参数历史数据有监督学习、训练获取最佳的AR摄像头位姿参数，该最佳的AR摄像头位姿参数指，最佳的AR摄像头位姿参数中AR摄像头与交互设备屏幕的夹角对应的位姿计算量最小；以最佳AR摄像头位姿对位姿初设定指在设定AR摄像头与交互设备屏幕的夹角时以最佳的AR摄像头位姿参数对应的AR摄像头与交互设备屏幕的夹角作初设定的AR摄像头与交互设备屏幕的夹角。
[0009]进一步，所述坐标系变换的旋转矩阵与平移矩阵计算包括有：建立AR摄像头的坐标系，建立交互设备屏幕的坐标系，建立世界坐标系，计算在世界坐标系中AR摄像头的坐标系到交互设备屏幕的坐标系的变换关系，该变换关系包括旋转矩阵与平移矩阵，计算旋转矩阵与平移矩阵包括提取相应图像特征，计算特征匹配关系，计算基本矩阵与本质矩阵，并进行奇异值分解得到旋转矩阵与平移矩阵。
[0010]进一步，将融合后图像显示指，对将VR图像与现场图像融合之后通过AR展示显示设备显示。
[0011]进一步，所述初始化AR摄像头以及对AR摄像头位姿初设定由图像处理服务器完成，对AR摄像头位姿初设定也可以由图像处理服务器输出控制命令由人工或机动完成。
[0012]与现有技术相比，本专利技术的有益效果：
[0013]本申请对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，尤其，能够在设定AR摄像头与交互设备屏幕的夹角时以最佳的AR摄像头位姿参数对应的AR摄像头与交互设备屏幕的夹角作初设定的AR摄像头与交互设备屏幕的夹角，确保AR摄像头与交互设备屏幕的夹角对应的位姿计算量最小，确保效率更高。
具体实施方式
[0014]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]本申请公开了利用VR和AR展示虚拟现实的系统，其包括有图像处理服务器以及用于显示VR场景的头戴设备、VR交互设备、用于共享的AR展示显示设备、用于采集现实场景的AR摄像头；还包括交互设备屏幕，所述交互设备屏幕与AR摄像头的夹角在展示前标定。
[0016]本申请还公开了利用VR和AR展示虚拟现实的方法，包括步骤有：初始化AR摄像头，然后对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，即确定坐标系变换的旋转矩阵与平移矩阵；AR摄像头获取现场图像与VR场景的头戴设备中VR图像融合，将融合后图像显示，实现VR与AR共同展示。
[0017]优选的，其中的对AR摄像头位姿初设定具体指根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数，并以最佳的AR摄像头位姿对位姿初设定，其中，AR摄像头位姿参数指AR摄像头与交互设备屏幕的夹角，其中根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数具体指，首先收集历史的AR摄像头位姿参数并收集在该情况下每一种AR摄像头位姿参数对应的位姿计算量；该位姿计算量指在计算AR摄像头与交互设备屏幕坐标系变换的旋转矩阵与平移矩阵时的计算量，该计算量以计算机CPU运行时间表征，然后以位姿计算量做标签，对AR摄像头位姿参数历史数据作标签，
形成带标签的AR摄像头位姿参数历史数据，并对带标签的AR摄像头位姿参数历史数据有监督学习、训练获取最佳的AR摄像头位姿参数，该最佳的AR摄像头位姿参数指，最佳的AR摄像头位姿参数中AR摄像头与交互设备屏幕的夹角对应的位姿计算量最小；以最佳AR摄像头位姿对位姿初设定指在设定AR摄像头与交互设备屏幕的夹角时以最佳的AR摄像头位姿参数对应的AR摄像头与交互设备屏幕的夹角作初设定的AR摄像头与交互设备屏幕的夹角。
[0018]优选的，所述坐标系变换的旋转矩阵与平移矩阵计算包括有：建立AR摄像头的坐标系，建立交互设备屏幕的坐标系，建立世界坐标系，计算在世界坐标系中AR摄像头的坐标系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用VR和AR展示虚拟现实的系统，其特征在于，包括有图像处理服务器以及用于显示VR场景的头戴设备、VR交互设备、用于共享的AR展示显示设备、用于采集现实场景的AR摄像头；还包括交互设备屏幕，所述交互设备屏幕与AR摄像头的夹角在展示前标定。2.利用VR和AR展示虚拟现实的方法，其特征在于，包括步骤：初始化AR摄像头，然后对AR摄像头位姿初设定对位姿计算确定AR摄像头与交互设备屏幕相对关系，即确定坐标系变换的旋转矩阵与平移矩阵；AR摄像头获取现场图像与VR场景的头戴设备中VR图像融合，将融合后图像显示，实现VR与AR共同展示。3.根据权利要求2所述的利用VR和AR展示虚拟现实的方法，其特征在于，其中的对AR摄像头位姿初设定具体指根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数，并以最佳的AR摄像头位姿对位姿初设定，其中，AR摄像头位姿参数指AR摄像头与交互设备屏幕的夹角，其中根据历史的AR摄像头位姿设定参数，学习、训练获取最佳的AR摄像头位姿参数具体指，首先收集历史的AR摄像头位姿参数并收集在该情况下每一种AR摄像头位姿参数对应的位姿计算量；该位姿计算量指在计算AR摄像头与交互设备屏幕坐标系变换的旋转矩阵与平移矩阵时的计算量，该计算量以计算机CPU运行时间表征，然后以位姿计算量做标签，对AR摄像头位姿参数历史数据作标签，形成带标签的AR...

【专利技术属性】
技术研发人员：李迎弟，
申请(专利权)人：李迎弟，
类型：发明
国别省市：