一种视点信息生成方法、装置、系统、设备和介质制造方法及图纸

本发明专利技术涉及虚拟现实(VR,Virtual Reality)领域，特别涉及一种视点信息生成方法、装置、系统、设备和介质。根据本发明专利技术实施例提供的方案，如果用户左眼位置或右眼位置不是处于基于实景拍摄的VR内容采集过程中所对应的视点位置，可以基于实景拍摄VR内容采集到的视点信息进行虚拟视点合成，得到用户左眼位置坐标或右眼位置坐标对应的视点信息，使得即使基于实景拍摄的VR内容采集，也可以得到任意位置的自由视点信息，进而使得可以根据自由视点信息进行VR显示，并可以有效提高VR显示效果的平滑性和连续性。

【技术实现步骤摘要】
一种视点信息生成方法、装置、系统、设备和介质
本专利技术涉及虚拟现实(VR,VirtualReality)领域，特别涉及一种基于实景拍摄VR内容采集的视点信息生成方法、装置、系统、设备和介质。
技术介绍
VR显示技术，是一种多源信息融合的、交互式的三维动态视景和实体行为的仿真系统，其利用计算机技术创建模拟的场景使用户沉浸其中，体验虚拟世界。VR显示技术基本工作原理是，通过显示器和透镜组，将显示的虚拟影像投射到人眼，当人转动头部时，陀螺仪能够及时地通知图像生成以及时地更新画面，从而使人感觉到，自己是在看一个环绕的虚拟空间，从而产生360度的三维空间感。双目视差是产生立体视觉最重要的深度线索。由于人的双目具有一定的间距，当观看某一场景时，场景不同角度的信息会通过瞳孔投射入双目，在视网膜上呈现具有一定差异的图像，这种差异被称为双目视差。在用户左眼形成的视点信息(此处可以命名为左视点信息，视点信息可以但不限于理解为显示内容，如，图像信息)，以及在用户右眼形成的视点信息(此处可以命名为右视点信息)可以如图1所示。视觉神经中枢会对视网膜传递过来的具有一定差异的信号进行比对和融合，从而产生了对三维场景或物体的深度感知。基于双目视差原理，VR显示技术将不同的视点信息分别投射于观察者的左右眼，从而使得观察者产生具有强烈的三维空间感的VR体验。目前依据生成方式的不同，视点信息的生成方法可以分为两类，包括基于虚拟渲染的VR内容生成方法和基于实景拍摄的VR内容采集方法。基于虚拟渲染的VR内容生成方法中,利用三维(3D)建模软件对预采集场景建模构造虚拟场景，然后设置虚拟相机对虚拟场景进行采集，利用代码实现交互逻辑，输出可交互的VR内容。其优点在于可进行任意视点(可以理解为任意位置的观察点，也可以称为自由视点)对应的视点信息的渲染，渲染生成的视点信息具有双目视差，可呈现三维的VR视觉体验，其缺点在于不能对某些真实场景进行完全模拟，真实体验度较差。基于实景拍摄的VR内容采集方法中，利用全景相机或者相机阵列对真实场景进行采集，利用图像处理相关算法，对采集内容进行全景图拼接，输出全景视频或全景图，用于VR显示装置进行虚拟现实视觉体验的构建。基于实景拍摄的VR内容采集方法，可实现针对真实场景的360度全景VR内容采集，相对于基于虚拟渲染的VR内容生成方法VR视觉真实体验感更强，但由于采集过程中相机数目和间距受限，针对的视点数量有限，无法实现针对真实场景的自由视点VR内容采集，也就无法实现自由视点信息生成和显示，VR显示效果的平滑性和连续性会受到影响。
技术实现思路
本专利技术实施例提供一种视点信息生成方法、装置、系统、设备和介质，用于解决VR内容实景拍摄采集无法实现自由视点信息生成的问题。一种视点信息生成方法，所述方法包括：确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置；接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。一种视点信息生成方法，所述方法包括：接收虚拟现实VR用户左眼位置坐标和右眼位置坐标；返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。一种视点信息生成方法，所述方法包括：接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标；将接收到的坐标发送至VR内容采集装置；接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。一种视点信息生成装置，所述装置包括：坐标确定模块，用于确定虚拟现实VR用户左眼位置坐标和右眼位置坐标；发送模块，用于将所述坐标确定模块确定出的坐标发送至VR内容采集装置；接收模块，用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；视点信息生成模块，用于根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。一种客户端虚拟现实VR设备，所述设备包括如上所述的视点信息生成装置。一种虚拟现实VR内容采集装置，所述装置包括视频处理服务器，其中：所述视频处理服务器，用于接收VR用户左眼位置坐标和右眼位置坐标，并返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。一种网络服务器，所述网络服务器包括：接收模块，用于接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标；发送模块，用于将所述接收模块接收到的坐标发送至VR内容采集装置；所述接收模块，还用于接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；所述发送模块，还用于将所述接收模块接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视本文档来自技高网...

【技术保护点】
1.一种视点信息生成方法，其特征在于，所述方法包括：/n确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置；/n接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；/n根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；/n其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。/n

【技术特征摘要】
1.一种视点信息生成方法，其特征在于，所述方法包括：
确定虚拟现实VR用户左眼位置坐标和右眼位置坐标，将确定出的坐标发送至VR内容采集装置；
接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；
根据接收到的所述第一视点信息，确定所述左眼位置坐标对应的左视点信息，以及根据接收到的所述第二视点信息，确定所述右眼位置坐标对应的右视点信息；
其中，所述左视点信息是根据所述第一视点信息进行虚拟视点合成得到，和/或，所述右视点信息是根据所述第二视点信息进行虚拟视点合成得到。


2.如权利要求1所述的方法，其特征在于，接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，包括：
接收所述VR内容采集装置返回的封装视点信息；
所述封装视点信息是所述VR内容采集装置将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的。


3.如权利要求2所述的方法，其特征在于，若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，则，所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排sidebyside视频格式，其中，i为正整数；和/或，
若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，则，所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成sidebyside视频格式，其中，k为正整数。


4.如权利要求1所述的方法，其特征在于，所述VR内容采集装置中包括相机阵列，且所述相机阵列拓扑结构为发散式或会聚式。


5.如权利要求1～4任一所述的方法，其特征在于，若所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息，其中，i为正整数；
则，根据所述第一视点信息进行虚拟视点合成得到所述左视点信息，包括：
确定所述i视点信息和所述i+1视点信息之间的视差信息；
根据所述左眼位置坐标，利用所述视差信息对所述i视点信息进行像素移位，得到所述左视点信息；或者，根据所述左眼位置坐标，利用所述视差信息对所述i+1视点信息进行像素移位，得到所述左视点信息；
若所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息，其中，k为正整数；
则，根据所述第二视点信息进行虚拟视点合成得到所述右视点信息，包括：
确定所述k视点信息和所述k+1视点信息之间的视差信息；
根据所述右眼位置坐标，利用所述视差信息对所述k视点信息进行像素移位，得到所述右视点信息；或者，根据所述右眼位置坐标，利用所述视差信息对所述k+1视点信息进行像素移位，得到所述右视点信息。


6.一种视点信息生成方法，其特征在于，所述方法包括：
接收虚拟现实VR用户左眼位置坐标和右眼位置坐标；
返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，所述第一视点信息和第二视点信息是基于实景拍摄VR内容采集到的；
其中，所述第一视点信息用于进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，所述第二视点信息用于进行虚拟视点合成得到所述右眼位置坐标对应的右视点信息。


7.如权利要求6所述的方法，其特征在于，返回根据所述左眼位置坐标确定出的第一视点信息以及根据所述右眼位置坐标确定出的第二视点信息，包括：
返回封装视点信息，所述封装视点信息是将根据所述左眼位置坐标确定出的第一视点信息，以及根据所述右眼位置坐标确定出的第二视点信息封装在一起得到的。


8.如权利要求7所述的方法，其特征在于，所述第一视点信息包括第i个视点对应的i视点信息和第i+1个视点对应的i+1视点信息；所述封装视点信息中所述i视点信息和所述i+1视点信息拼接成并排sidebyside视频格式；其中，i为正整数；和/或，
所述第二视点信息包括第k个视点对应的k视点信息和第k+1个视点对应的k+1视点信息；所述封装视点信息中所述k视点信息和所述k+1视点信息拼接成sidebyside视频格式；其中，k为正整数。


9.如权利要求6～8任一所述的方法，其特征在于，基于实景拍摄采集VR内容时，采用相机阵列，且所述相机阵列拓扑结构为发散式或会聚式。


10.一种视点信息生成方法，其特征在于，所述方法包括：
接收视点信息生成装置发送的虚拟现实VR用户左眼位置坐标和右眼位置坐标；
将接收到的坐标发送至VR内容采集装置；
接收所述VR内容采集装置根据所述左眼位置坐标返回的第一视点信息以及根据所述右眼位置坐标返回的第二视点信息，其中，所述第一视点信息和第二视点信息是所述VR内容采集装置基于实景拍摄VR内容采集到的；
将接收到的所述第一视点信息以及第二视点信息发送至所述视点信息生成装置，使得所述视点信息生成装置根据所述第一视点信息进行虚拟视点合成得到所述左眼位置坐标对应的左视点信息，和/或，根据所述第二视点信息进行虚拟视...

【专利技术属性】
技术研发人员：朱艳宏，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11