一种用于VR全景直播的动态图像融合方法及系统技术方案

本发明专利技术公开了一种用于VR全景直播的动态图像融合方法及系统，包括：采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；使用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；创建虚拟场景和3D球体对象，并在虚拟场景内以VR全景图为材质建立网格模型；创建虚拟的透视相机，指定相机的初始位置、方向和视野范围；创建3D渲染器，把场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。本发明专利技术支持用户视角改变，不仅能扩展用户在直播中的视野范围，消除直播盲区，而且为用户带来沉浸式的视觉感受，提高直播效果。

【技术实现步骤摘要】
一种用于VR全景直播的动态图像融合方法及系统
本专利技术属于5G在线直播领域，特别是涉及一种用于VR全景直播的动态图像融合方法及系统。
技术介绍
5G时代的到来，给网络直播行业带来了旺盛的生机，而且使其应用范围更为广泛。随着科学技术的发展，人们一直在不断追求更高的舒适度和体验度，因而对观看直播的体验度要求也越来越高，直播本身势必发展出新的存在形式，功能也将愈加强大。5G网络的应用，沉浸式体验将成为学习、生活、娱乐和审美的重要形态，那么将沉浸式体验与网络直播相结合则成为目前研究的重点。传统的沉浸式体验需要购买并佩戴专业的VR眼镜，不仅价格昂贵，门槛高，而且也非常不利于直播的推广和传播，这与随时随地看直播的灵活性背道而驰。并且利用该方式看到的直播画面不支持用户观察视角的改变，视野范围小，盲区大，互动性差。如何让用户真正获得完美的视觉感受和体验，又有利于直播的推广和传播，也就成为了本领域内技术人员亟待解决的问题。
技术实现思路
专利技术目的：本专利技术提供一种用于VR全景直播的动态图像融合法及系统，充分利用不同视角图像及前后图像的像素信息，使得拼接更快更顺滑，减少直播延迟。
技术实现思路
：本专利技术提出一种用于VR全景直播的动态图像融合方法，具体包括以下步骤：(1)通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；(2)用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；(3)创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面；(4)在虚拟场景中创建一个虚拟的透视相机，指定相机的初始位置、方向和视野范围；(5)创建3D渲染器，把虚拟场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；(6)根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。进一步地，所述步骤(2)实现过程如下：(21)在图像拼接时，对于图像的重合区域，考虑不同视角直播图像像素亮度不均因素，使用加权平均平滑重叠区域；图像加权平均表达式为：式中，Ii表示I1和I2拼接后的图像，α1和α2表示I1和I2的权值，权值由重合区域像素点与源图像之间的距离决定，在0到1之间取值；(22)在生成VR全景直播流的过程中，不仅要考虑当前图像的像素信息，同时也要提取下一帧图像的像素信息，然后提取前后图像相对变化的像素信息，将提取的像素信息及时更新，每一帧当前全景图都是基于前一帧全景图生成。进一步地，所述步骤(3)包括以下步骤：(31)在开发环境中创建一个虚拟场景Scene；(32)建立一个半径radius为500，水平垂直分割面分别为60和40的3D球体对象；(33)在虚拟场景内，利用3D球体对象和视频纹理材质建立一个网格模型对象Mesh；(34)采用HLS传输协议从SRS流媒体服务器上获取VR直播流，并使用H264解码，将VR全景直播图作为网格模型材质，贴在球的内表面。进一步地，步骤(4)所述的虚拟透视相机的初始位置指定在(radius,0,0)，方向为目标对象方向，视野范围为75°。本专利技术还提供一种用于VR全景直播的动态图像融合系统，包括：采集模块，用于采集多视角直播流并进行压缩编码；动态图像融合模块，使用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流，并为VR播放器模块进行直播流的推送；VR播放器模块，用于VR全景直播的三维构建和播放，包括VR模块和渲染模块，所述VR模块用于二维全景直播视图的三维重建，还原最真实的三维空间的直播场景；所述渲染模块用于VR直播的3D渲染，显示三维全景直播画面；控制模块，用于控制三维场景中的虚拟摄像机的运转，以生成并显示当前三维直播画面。进一步地，所述控制模块包括重力感应模块和手势滑动模块；所述重力感应模块用于感应移动端用户手持屏幕的方向以及屏幕方向的变动，根据感应信息改变虚拟摄像机的旋转角度进而可以展示当前三维直播画面；所述手势滑动模块用于获取用户在屏幕上的滑动方向和距离，根据方向和距离信息改变虚拟摄像机的位置进而展示当前三维直播画面。有益效果：与现有技术相比，本专利技术的有益效果：使用本方法提出的动态图像融合算法，充分利用不同视角图像的像素信息，使得图像拼接更加自然顺滑，同时降低了全景图像拼接时间，减少直播延迟；本专利技术采用3D绘图技术，基于OpenGL对全景直播视图进行三维重建，还原最真实的三维空间的直播场景，不仅支持用户改变观察视角，扩大视野范围，为用户带来沉浸式体验，而且也不需要佩戴任何设备，随时随地打开直播链接就可以体验到裸眼3D的效果，有利于直播的推广和传播。附图说明图1为用于VR全景直播的动态图像融合方法流程图；图2为用于VR全景直播视图的三维画面重建流程图；图3为用于VR全景直播的动态图像融合系统结构示意图。具体实施方式下面结合附图对本专利技术作进一步详细说明。如图1所示，本专利技术提出的一种用于VR全景直播的动态图像融合方法，具体包括以下步骤：步骤1：通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上。采用的压缩编码为H264压缩编码。流媒体服务器为SRS开源流媒体服务器，上行采用RTMP传输协议，实时将直播流推送到SRS流媒体服务器上。步骤2：使用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流。使用的动态图像融合算法，使用的动态图像融合算法，在图像拼接时，对于图像的重合区域，充分考虑不同图像像素亮度不均因素，使用加权平均平滑重叠区域；在生成VR直播流的过程中，不仅要考虑当前图像的像素信息，同时也要提取下一帧图像对比前一帧图像相对变化的像素信息，将提取的像素信息及时更新，每一帧当前全景图都是基于前一帧全景图生成。步骤3：创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面。如图2显示了本专利技术的VR全景直播视图的三维画面重建，主要包括以下步骤：(1)在开发环境中创建一个虚拟场景Scene。基于OpenGl的3D绘图引擎Threejs，利用该引擎创建一个虚拟场景Scene。(2)建立一个半径radius为500，水平垂直分割面分别为60和40的3D球体对象；在使用引擎创建一个3D球体对象，球的半径默认为500，默认指定的水平分割面和垂直分割面分别为60和40。(3)在虚拟场景内，利用3D球体对象和视频纹理材质建立一个网格模型对象Mesh；其中，视频纹理是Threejs引擎使用全景直播流创建的VideoTexture，使用视频纹理作为材质，把视频流的每一帧全景画面作为贴图贴在3D球体的内表面。(4)在场景中创建一个虚拟透视相机，指定相机的初始位置、方向和视野本文档来自技高网...

【技术保护点】
1.一种用于VR全景直播的动态图像融合方法，其特征在于，包括以下步骤：/n(1)通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；/n(2)用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；/n(3)创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面；/n(4)在虚拟场景中创建一个虚拟的透视相机，指定相机的初始位置、方向和视野范围；/n(5)创建3D渲染器，把虚拟场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；/n(6)根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。/n

【技术特征摘要】
1.一种用于VR全景直播的动态图像融合方法，其特征在于，包括以下步骤：
(1)通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；
(2)用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；
(3)创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面；
(4)在虚拟场景中创建一个虚拟的透视相机，指定相机的初始位置、方向和视野范围；
(5)创建3D渲染器，把虚拟场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；
(6)根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。


2.根据权利要求1所述的用于VR全景直播的动态图像融合方法，其特征在于，所述步骤(2)实现过程如下：
(21)在图像拼接时，对于图像的重合区域，考虑不同视角直播图像像素亮度不均因素，使用加权平均平滑重叠区域；图像加权平均表达式为：



式中，Ii表示I1和I2拼接后的图像，α1和α2表示I1和I2的权值，权值由重合区域像素点与源图像之间的距离决定，在0到1之间取值；
(22)在生成VR全景直播流的过程中，不仅要考虑当前图像的像素信息，同时也要提取下一帧图像的像素信息，然后提取前后图像相对变化的像素信息，将提取的像素信息及时更新，每一帧当前全景图都是基于前一帧全景图生成。


3.根据权利要求1所述的用于VR全景直播的动态图像融合方法，其特征在于，所述步骤(3)包括以下步骤：
(31)在开发环境中创建一个虚拟场景Scene；
(32)建立一个半径rad...

【专利技术属性】
技术研发人员：张晖，李吉媛，赵海涛，孙雁飞，朱洪波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32