基于云计算的VR网络摄像头实时联动成像方法及装置制造方法及图纸

本发明专利技术提出一种基于云计算的VR网络摄像头实时联动成像方法及装置，使用两个单镜头摄像头，实时拍摄实景画面并通过5G网络发送给云计算服务器；云计算服务器对两个单镜头摄像头进行视觉标定，实现三维成像，并发送至VR设备，VR设备通过传感器采集使用者眼睛及身体的动作，将相应的动作数据发送至云计算服务器；云计算服务器根据动作数据计算控制其中一个单镜头摄像头的的同步调整；根据立体匹配的视差数据，计算控制第二个单镜头摄像头的调整，两个单镜头摄像头位姿调整后，返回继续执行。本发明专利技术使用单镜头摄像头，实现真正根据实景成像，根据使用者的动作进行实时同步且真实的联动成像。动成像。动成像。

【技术实现步骤摘要】
基于云计算的VR网络摄像头实时联动成像方法及装置


[0001]本专利技术属于VR
，更具体的说，涉及一种基于云计算的VR网络摄像头实时联动成像方法及装置。

技术介绍

[0002]VR网络摄像头实时联动成像是指通过网络摄像头实时拍摄立体画面并传输至VR设备成像，并根据VR设备采集使用者动作进行位置调节提供实时同步且真实的联动成像，能够让使用者对于真实场景有身临其境的体验感；属于云计算与5G网络在VR虚拟现实技术中的应用。
[0003]VR虚拟现实技术在近几年得到飞速发展，越来越多的被应用在工作领域、生活领域和学习领域。通常在VR虚拟现实技术的应用中，使用者通过VR设备(例如VR眼镜、头盔等)，进入三维的模拟现实场景，并进行信息交互，在操作过程中，可以得到相应的操作反馈。
[0004]VR虚拟现实技术的三维图形显示、三维定位跟踪技术可以让使用者在模拟环境中体验到真实的感受，但是，现有技术中的VR虚拟现实技术主要是使用者基于VR设备接收制作好的VR视频，然后进行播放显示，虽然VR视频的制作技术已经几乎可以接近难辨真假的效果，但毕竟真实性方面还是略有欠缺，尤其在某些应用里，需要的是真正根据实景形成的实时VR场景，更需要VR场景根据使用者的动作进行实时同步且真实的展现。
[0005]国内专利“一种基于VR技术的交互方法、系统202210226592.3”公开了通过基于网络摄像头采集视频场景图像，并将所述视频场景图像信息发送至VR云服务器，VR云服务器根据客户端的VR视频画面显示的确认指令，生成VR视频画面并在客户端播放。上述技术方案初步实现了根据实景形成实时VR场景的技术效果，但是仍旧存在以下不足：
[0006](1)该专利方案中，通过多台摄像头(实施例中举例为10台)采集不同方位的场景画面，并根据不同摄像头ID，以及根据预设的不同角度画面的编排方式进行VR场景的整合，但各摄像头均为单镜头摄像头，只能拍摄2维画面，采用所述的整合方式生成的VR场景仍然会有失真的缺陷；
[0007](2)该专利方案并没有实现“VR场景根据使用者的动作进行实时同步且真实的展现”的功能。
[0008]另外，虽然现有技术中已经出现了3D深度摄像头，但是3D深度摄像头的单台价格相对比较高，导致成本增加，另外单台的3D深度摄像头也很难实现“VR场景根据使用者的动作进行实时同步且真实的展现”的功能。

技术实现思路

[0009]本专利技术提出一种基于云计算的VR网络摄像头联动成像方法及装置，使用单镜头摄像头，实现真正根据实景成像，形成实时VR场景展现在VR设备中；VR场景根据使用者的动作进行实时同步且真实的联动成像并将成像后的VR场景反馈展现给使用者。
[0010]为达到上述目的，本专利技术的技术方案是这样实现的：
[0011]一种基于云计算的VR网络摄像头实时联动成像方法，包括：
[0012]S1、使用两个单镜头摄像头，实时拍摄实景画面并通过5G网络发送给云计算服务器；所述单镜头摄像头设置在可调整方位的云台上；
[0013]S2、云计算服务器对两个单镜头摄像头进行视觉标定，对获取的两个摄像头的实景画面进行立体匹配，实现三维成像，并发送至VR设备，将三维成像作为VR场景向使用者展现；
[0014]S3、VR设备通过传感器采集使用者眼睛及身体的动作，将相应的动作数据发送至云计算服务器；
[0015]S4、云计算服务器根据动作数据计算使用者下一步观看的方位、角度，以及瞳孔的焦距变化，通过5G网络控制其中一个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的同步调整，以及通过5G网络控制该单镜头摄像头焦距的同步调整；
[0016]S5、云计算服务器根据步骤S2中立体匹配的视差数据，计算第二个单镜头摄像头与已进行同步调整的摄像头的距离数据，包括实际距离与光心距离；依据距离数据计算第二个单镜头摄像头的调整数据，并通过5G网络控制第二个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的调整，以及通过5G网络控制第二个单镜头摄像头焦距的调整；
[0017]S6、两个单镜头摄像头位姿调整后，返回步骤S1继续执行。
[0018]进一步的，步骤S2中三维成像的具体过程中，需要对两个单镜头摄像头发送来的实景图象进行预处理，所述预处理过程包括：图像增强、图像复原、噪声滤波。
[0019]进一步的，步骤S2中立体匹配的过程为灰度相关匹配或特征匹配或相位匹配。
[0020]更进一步的，步骤S2中立体匹配的过程还包括：立体匹配时，采用内插法恢复视差表面，并将视差数据进行转换，转换为三维数据。
[0021]进一步的，步骤S5中，所述距离数据的计算方法为：
[0022][0023]其中，Z为实际距离；B为光心距离；f为摄像头焦距；
[0024]x1‑
x2代表视差。
[0025]本专利技术另一方面还提供了一种基于云计算的VR网络摄像头实时联动成像装置，包括：
[0026]VR设备：用于向使用者展示VR场景；以及通过传感器采集使用者眼睛及身体的动作，将相应的动作数据发送至计算单元；
[0027]拍摄单元：使用两个单镜头摄像头，实时拍摄实景画面并通过5G网络发送给云计算服务器；所述单镜头摄像头设置在可调整方位的云台上；所述云台通过5G网络接收云计算服务器的指令，带动单镜头摄像头进行位姿调整；
[0028]计算单元：包括云计算服务器，所述云计算服务器对两个单镜头摄像头进行视觉标定，对获取的两个摄像头的实景画面进行立体匹配，实现三维成像，并发送至VR设备，将三维成像作为VR场景向使用者展现；
[0029]所述云计算服务器根据动作数据计算使用者下一步观看的方位、角度，以及瞳孔的焦距变化，通过5G网络控制其中一个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的同步调整，以及通过5G网络控制该单镜头摄像头焦距的同步调整；
[0030]所述云计算服务器根据步骤S2中立体匹配的视差数据，计算第二个单镜头摄像头与已进行同步调整的摄像头的距离数据，包括实际距离与光心距离；依据距离数据计算第二个单镜头摄像头的调整数据，并通过5G网络控制第二个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的调整，以及通过5G网络控制第二个单镜头摄像头焦距的调整。
[0031]进一步的，云计算服务器包括预处理单元，对两个单镜头摄像头发送来的实景图象进行预处理，所述预处理过程包括：图像增强、图像复原、噪声滤波。
[0032]进一步的，云计算服务器包括：
[0033]灰度相关匹配单元，用于灰度相关匹配；
[0034]特征匹配单元，用于特征匹配；
[0035]相位匹配单元，用于相位匹配。
[0036]更进一步的，云计算服务器还包括内插及转换单元，用于立体匹配时，采用内插法恢复视差表面，并将视差数据进行转换，转换为三维数据。
[0037]进一步的，云计算服务器还包括距离数据计算单元，用于所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云计算的VR网络摄像头实时联动成像方法，其特征在于，包括：S1、使用两个单镜头摄像头，实时拍摄实景画面并通过5G网络发送给云计算服务器；所述单镜头摄像头设置在可调整方位的云台上；S2、云计算服务器对两个单镜头摄像头进行视觉标定，对获取的两个摄像头的实景画面进行立体匹配，实现三维成像，并发送至VR设备，将三维成像作为VR场景向使用者展现；S3、VR设备通过传感器采集使用者眼睛及身体的动作，将相应的动作数据发送至云计算服务器；S4、云计算服务器根据动作数据计算使用者下一步观看的方位、角度，以及瞳孔的焦距变化，通过5G网络控制其中一个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的同步调整，以及通过5G网络控制该单镜头摄像头焦距的同步调整；S5、云计算服务器根据步骤S2中立体匹配的视差数据，计算第二个单镜头摄像头与已进行同步调整的摄像头的距离数据，包括实际距离与光心距离；依据距离数据计算第二个单镜头摄像头的调整数据，并通过5G网络控制第二个单镜头摄像头的云台带动该单镜头摄像头进行方位、角度的调整，以及通过5G网络控制第二个单镜头摄像头焦距的调整；S6、两个单镜头摄像头位姿调整后，返回步骤S1继续执行。2.根据权利要求1所述的基于云计算的VR网络摄像头实时联动成像方法，其特征在于，步骤S2中三维成像的具体过程中，需要对两个单镜头摄像头发送来的实景图象进行预处理，所述预处理过程包括：图像增强、图像复原、噪声滤波。3.根据权利要求1所述的基于云计算的VR网络摄像头实时联动成像方法，其特征在于，步骤S2中立体匹配的过程为灰度相关匹配或特征匹配或相位匹配。4.根据权利要求3所述的基于云计算的VR网络摄像头实时联动成像方法，其特征在于，步骤S2中立体匹配的过程还包括：立体匹配时，采用内插法恢复视差表面，并将视差数据进行转换，转换为三维数据。5.根据权利要求1所述的基于云计算的VR网络摄像头实时联动成像方法，其特征在于，步骤S5中，所述距离数据的计算方法为：其中，Z为实际距离；B为光心距离；f为摄像头焦距；x1‑
x2代表视差。6.一种基于云计算的VR网络摄像头实时联动成像装置，其特征在于，包括：VR设备：用于...

【专利技术属性】
技术研发人员：侯尧，陈力，王雪松，金星，王东，刘奇，余永，王晟宇，王卓，孙维超，郭雪珍，张思龙，
申请(专利权)人：天翼电信终端有限公司，
类型：发明
国别省市：