一种基于多摄像头光场拍摄的实时自由视点直播方法技术

本发明专利技术是一种基于多摄像头光场拍摄的实时自由视点直播方法，本发明专利技术可实现由用户控制的任意角度、任意视点的固定舞台区域表演的直播和录播，相对于全景视频，本发明专利技术的优点是可以使用户自由运动，更换视角和视点；相对于三维重构的直播的好处是无需建模，快速、高效、并没有细节信息损失，更接近照片级质量；相对于光场传输方案，因为本发明专利技术是用户的视点动态地选择生成用户视点图像的分组的数据进行传输，可支持对大规模并发用户视点分组极大减少数据传输量，克服自由视点移动虚拟现实应用在互联网大规模应用的数据传输瓶颈；除此之外，本发明专利技术的输出图像是通过深度信息和邻近相机合成而来，可极大减少相机的数量。

Real time free view live broadcast method based on multi camera light field shooting

The present invention relates to a method for multi camera live light field real-time shooting free viewpoint based on the invention can realize the performance by the fixed stage area at any angle, the user control of any view live and taped, relative to the panoramic video, the advantages of the invention can make the user free movement, change perspective with respect to live; the benefits of 3D reconstruction is without modeling, rapid, efficient, and no loss of details, closer to the photo quality; relative to the light field transmission scheme, because the invention is view user dynamically generated user view images of packet data transmission, can support large-scale concurrent users to view greatly reduce the data packet the amount of data transmission, the transmission bottleneck to overcome the free viewpoint of virtual reality application in large-scale application of mobile Internet; in addition, the The output image of the invention is synthesized by depth information and neighboring cameras, which can greatly reduce the number of cameras.

【技术实现步骤摘要】
一种基于多摄像头光场拍摄的实时自由视点直播方法
专利技术涉及虚拟现实交互应用领域，特别是针对虚拟现实中三维场景大规模实时直播装置与算法。
技术介绍
传统录制：现有的视频节目主要通过平面显示器来播放，通过佩戴3D眼镜播放3D视频可实现3D视觉效果，但其视角和播放内容是由节目制作方设定的，用户只能被动接受。360度全景录制：随着虚拟现实技术的普及，虚拟现实视频节目也在逐渐普及，用户通过佩戴VR头戴显示器，通过将虚拟摄像头与VR头戴显示器的角度同步一致的方法，可以实现类似于环幕效果的沉浸式视频体验，但这种方法只能在1个视点上给用户提供旋转观看的自由度，用户并不能在虚拟场景中来回移动。无论是普通的视频节目还是VR视频节目，均无法提供给用户全方位的沉浸式的临场体验，普通视频节目只能让用户通过屏幕窗口观看，而VR视频节目也只能够让用户在固定的视点或由拍摄者选定的线路来观看，这对体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目由极大的内容损失，通过现有的这些方式观看节目无法全面地获得现场的信息。
技术实现思路
本专利技术的目的在于提供一种基于多摄像头光场拍摄的实时自由视点直播方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于多摄像头光场拍摄的实时自由视点直播方法，包含以下步骤：A、摄像机采集视频信号，并传输到处理设备；B、处理设备生成深度数据，计算每个像素与相机的距离；C、按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩；D、根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户；E、用户客户端对数据进行解压缩；F、根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。作为本专利技术的进一步技术方案：所述步骤2还有第二种工作模式，即由客户端处理。与现有技术相比，本专利技术的有益效果是：本专利技术可实现由用户控制的任意角度、任意视点的固定舞台区域表演的直播和录播，相对于全景视频，本专利技术的优点是可以使用户自由运动，更换视角和视点；相对于三维重构的直播的好处是无需建模，快速、高效、并没有细节信息损失，更接近照片级质量；相对于光场传输方案，因为本专利技术是用户的视点动态地选择生成用户视点图像的分组的数据进行传输，可支持对大规模并发用户视点分组极大减少数据传输量，克服自由视点移动虚拟现实应用在互联网大规模应用的数据传输瓶颈；除此之外，本专利技术的输出图像是通过深度信息和邻近相机合成而来，可极大减少相机的数量。附图说明图1为本专利技术的总体示意图；图2为本专利技术的数据分组示意图；图3为本专利技术的硬件结构示意图；图4为本专利技术的流程图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参阅图1-4；本专利技术实施例中，一种基于多摄像头光场拍摄的实时自由视点直播方法，如图一所示，本专利技术使用多台摄像机环绕舞台或表演区域，从多个角度同时拍摄视频数据，对于在任意角度观看的用户，都可以找到一个由几台相机组成的三角形或多边形区域覆盖用户的视角。如图二所示，1，3，4号相机即可覆盖由1，3，4三个点围成的三角区域的用户，1，2，4号相机即可覆盖由1，2，4三个点围成的三角区域的用户，以此类推。如图三所示，每台相机的视频数据将集中至视频分配服务器，这些数据通过互联网传输给用户。如图四所示，本专利技术的流程可概括为7步：第一步：摄像机采集视频信号，并传输到处理设备；第二步：处理设备生成深度数据，计算每个像素与相机的距离；此步骤也可以如图四模式二所示，由客户端处理；第三步：按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩，图二描述了一种按三角形覆盖区域的分组方式，例如1，3，4号相机进行合并压缩成数据流A，1，2，4号相机进行合并压缩成数据流B；第四步与第五步：根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户，在图二中，对于在1，3，4视角区域的用户，将接收到A数据流，在1，2，4视角区域的用户，将接收到B数据流；当用户从A区域移动到B区域，数据流也需要同时进行切换；在网络传输阶段，针对互联网大规模并发用户，本专利技术将用户按照其视点进行分组，同一组用户使用同一组压缩数据，以减少数据互联网传输所需带宽和计算量。第六步：用户客户端对数据进行解压缩；第七步：根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。以上对本专利技术的较佳实施方式进行了具体说明，但本专利技术创造并不限于所述实施例，熟悉本领域的技术人员在不违背本专利技术精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。本文档来自技高网...

【技术保护点】
一种基于多摄像头光场拍摄的实时自由视点直播方法，其特征在于，包含以下步骤：A、摄像机采集视频信号，并传输到处理设备；B、处理设备生成深度数据，计算每个像素与相机的距离；C、按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩；D、根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户；E、用户客户端对数据进行解压缩；F、根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。

【技术特征摘要】
1.一种基于多摄像头光场拍摄的实时自由视点直播方法，其特征在于，包含以下步骤：A、摄像机采集视频信号，并传输到处理设备；B、处理设备生成深度数据，计算每个像素与相机的距离；C、按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩；D、根据用户的观测位置，程序自动选择对应...

【专利技术属性】
技术研发人员：黄翔，许威威，
申请(专利权)人：深圳市望尘科技有限公司，
类型：发明
国别省市：广东,44