一种立体虚拟现实直播方法、装置及设备制造方法及图纸

本发明专利技术提供了一种立体虚拟现实直播方法、装置及设备，涉及显示技术领域，解决虚拟与现实融合显示用户观看体验较差的问题。该方法包括：获取直播场景的左右图像；分别对直播场景的左右图像进行抠图处理，获取直播场景中主播的左右视图；根据直播场景中主播所在位置对应的直播场景拍摄距离和左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离，对左右视图的尺寸进行调整；将调整后的左右视图放置在虚拟场景中的预定放置位置，利用左右虚拟摄像机拍摄，从而获取合成有主播和虚拟场景的立体融合视图，从而根据立体融合视图进行立体虚拟现实显示，从而实现立体虚拟现实直播。本发明专利技术优化了现实与虚拟融合后的显示效果，提升了用户体验。

【技术实现步骤摘要】

本专利技术涉及显示
，特别涉及一种立体虚拟现实直播方法、装置及设备。
技术介绍
随着VR(VirtualReality，虚拟与现实)技术的兴起以及网络直播平台的盛行，使得基于VR的直播系统站在了时代的风口上，具备无限的市场潜力，而基于虚拟场景与现实直播场景中的直播主体(即主播)相结合的直播系统更是让人们充满了想象空间。其中，虚拟场景利用计算机通过OpenGL(OpenGraphicsLibrary，开放图形库)等图形引擎构建，而现实直播场景是主播所在的真实直播环境。这种相结合的直播系统，将直播场景中的主播融合到虚拟场景中，带给VR用户，即利用VR设备观看直播的观众类似于真实参与的用户体验。目前，基于虚拟场景与现实的直播主体相结合的显示系统最大的问题在于，如何融合虚拟场景与现实直播场景，使得用户能享受到一种舒适、自然、更接近于真实的用户体验。因此，如何提升用户的观看体验，是一个亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种立体虚拟现实直播方法、装置及设备，能够实现立体的VR直播，而且能够解决在融合虚拟场景与现实直播场景时，由于虚拟场景与现实直播场景图像比例不一致，降低用户观看体验的问题，给用户提供更加身临其境的沉浸感。为解决上述技术问题，本专利技术的实施例提供一种立体虚拟现实直播方法，包括：获取左右双目摄像机拍摄的直播场景的左右图像；分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。进一步来说，所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例；根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。进一步来说，在所述获取所述左右视图的缩放比例前，所述方法还包括：确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系；所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例；其中，所述确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系的步骤包括：利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的。进一步来说，所述利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系包括：获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。进一步来说，所述根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系的步骤包括：利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。进一步来说，在所述获取所述左右视图的缩放比例前，所述方法还包括：确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系；所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离、所述左右双目摄像机的拍摄焦距、所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系，获取所述左右视图的缩放比例；其中，所述确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系的步骤包括：获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；以及获取所述左右双目摄像机为标准焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距下的标记物视图，并获取标准焦距下的标记物视图中所述第二预定标记物的像素尺寸；获取在左右双目摄像机的至少一种拍摄焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距下的标记物视图，并获取至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距本文档来自技高网...

【技术保护点】
一种立体虚拟现实直播方法，其特征在于，包括：获取左右双目摄像机拍摄的直播场景的左右图像；分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。

【技术特征摘要】
1.一种立体虚拟现实直播方法，其特征在于，包括：获取左右双目摄像机拍摄的直播场景的左右图像；分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图；根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整；将调整后的左右视图放置在所述虚拟场景中的所述预定放置位置，利用左右虚拟摄像机拍摄放置有左右视图的所述虚拟场景，从而获取合成有所述主播和所述虚拟场景的立体融合视图，所述立体融合视图包括左眼融合视图及右眼融合视图，从而根据所述立体融合视图进行立体化的虚拟现实显示，从而实现立体虚拟现实直播。2.根据权利要求1所述的方法，其特征在于，所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，对所述左右视图的尺寸进行调整的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例；根据所述左右视图的缩放比例，对所述左右视图的尺寸进行调整。3.根据权利要求2所述的方法，其特征在于，在所述获取所述左右视图的缩放比例前，所述方法还包括：确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系；所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离、所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，获取所述左右视图的缩放比例；其中，所述确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系的步骤包括：利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的。4.根据权利要求3所述的方法，其特征在于，所述利用预定标记物的直播场景图像和虚拟预订标记物的虚拟场景图像，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离中的至少一个距离的函数关系包括：获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系的步骤包括：利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的函数关系。6.根据权利要求2所述的方法，其特征在于，在所述获取所述左右视图的缩放比例前，所述方法还包括：确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系；所述根据直播场景中主播所在位置对应的直播场景拍摄距离和所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离中的至少一个距离，获取所述左右视图的缩放比例的步骤包括：根据直播场景中主播所在位置对应的直播场景拍摄距离、所述左右视图在虚拟场景的预定放置位置对应的虚拟场景拍摄距离、所述左右双目摄像机的拍摄焦距、所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系，获取所述左右视图的缩放比例；其中，所述确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系的步骤包括：获取至少一种直播场景拍摄距离下，左右双目摄像机拍摄的包含有预定标记物的直播场景图像，对所述包含有预定标记物的直播场景图像进行抠图处理，获取所述预定标记物视图，并获取所述预定标记物视图中所述预定标记物的像素尺寸；获取至少一种虚拟场景拍摄距离下，左右虚拟摄像机拍摄的包含有虚拟预定标记物的虚拟场景图像，其中，所述虚拟预定标记物是按照所述预定标记物的真实尺寸渲染得到的，并获取所述虚拟场景图像中所述虚拟预定标记物的像素尺寸；根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；以及获取所述左右双目摄像机为标准焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取标准焦距下的标记物视图，并获取标准焦距下的标记物视图中所述第二预定标记物的像素尺寸；获取在左右双目摄像机的至少一种拍摄焦距下，左右双目摄像机拍摄的包含有第二预定标记物的直播场景图像，对所述包含有第二预定标记物的直播场景图像进行抠图处理，获取至少一种拍摄焦距下的标记物视图，并获取至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，其中，所述拍摄焦距与标准焦距不同；根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系；根据所述第一函数关系、所述拍摄焦距与所述标准焦距的图像缩放比例关系，确定所述缩放比例与所述直播场景拍摄距离、所述左右双目摄像机的拍摄焦距和所述虚拟场景拍摄距离的函数关系。7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一种直播场景拍摄距离、所述预定标记物视图中所述预定标记物的像素尺寸、所述至少一种虚拟场景拍摄距离、所述虚拟场景图像中所述虚拟预定标记物的像素尺寸，确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系的步骤包括：利用最小二乘法确定所述缩放比例与所述直播场景拍摄距离和所述虚拟场景拍摄距离的第一函数关系；所述根据所述标准焦距，所述标准焦距下的标记物视图中所述第二预定标记物的像素尺寸、所述至少一种拍摄焦距、所述至少一种拍摄焦距下的标记物视图中所述第二预定标记物的像素尺寸，确定拍摄焦距与标准焦距的图像缩放比例关系的步骤包括：利用最小二乘法确定拍摄焦距与标准焦距的图像缩放比例关系。8.根据权利要求1-7任一项所述的方法，其特征在于，所述分别对所述直播场景的左右图像进行抠图处理，获取所述直播场景中主播的左右视图之后，所述方法还包括：对所述左右视图中所述主播的边界进行边界优化处理；和/或根据所述虚拟场景的...

【专利技术属性】
技术研发人员：李东方，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东;44