自由视点视频导播方法及系统技术方案

本发明专利技术提出一种自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。基于上述自由视点视频导播方法，本发明专利技术还提出一种自由视点视频导播系统。本发明专利技术的自由视点视频导播方法及系统，通过相邻视点与其对应视差图形成的“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。

Free viewpoint video director method and system

The invention provides a free viewpoint video director method, which comprises the following steps: S1: acquisition of multi view video; S2: collected the multiview video matching processing, get the corresponding adjacent view disparity map form \view + parallax\ video; S3: according to the viewpoint of the user location selection the user transmits the \point + parallax\ video; S4: according to the \point + parallax\ video, video and virtual viewpoint synthesis. The free viewpoint video director based method, the invention also provides a free viewpoint video broadcasting system. Free viewpoint video broadcasting method and system of the present invention, formed by the adjacent viewpoint and its corresponding disparity map \view + parallax\ video, virtual view video synthesis arbitrary viewpoint, so as to provide free alternative to users to watch video.

【技术实现步骤摘要】
自由视点视频导播方法及系统
本专利技术涉及计算机视觉领域，特别涉及虚拟视点的合成方法，以及一种基于虚拟视点合成的交互性自由视点视频导播方法及系统。
技术介绍
传统的影视以及广播电视中，观众只能被动的接受拍摄者所拍摄或者导播员所导播的镜头，而且在视角或者镜头的切换过程中存在视点位置和视频画面的跳跃，导致观众缺乏观看的临场感和体验感。随着近年来多媒体显示技术的快速发展，尤其是多媒体终端处理能力的提升，多媒体信息采集设备的采集质量的提升，以及多种多样显示设备的发展，自由视点视频技术应运而生，向观众提供自由可选的观看视点成为一种需求。舞台场景是最典型的广播电视场景之一。为实现向观众提供多方位、多方向观看体验的目的，舞台场景通常需采用如图1所示的相机拓扑结构进行拍摄。在多视点视频的传输过程中，所需带宽为单一视点视频传输的N倍，N是拍摄相机的数目。相机数目越多，越能够向观众提供更加平滑的视点切换。增加相机的数目提高了对传输带宽的需求，同时提高了采集系统的成本。此外，增加相机的数目也会增大视频录制时的压缩存储压力。自由视点视频需要保留场景不同视角的透视图像信息的正确性，采集到的多个视角的视频不能够进行融合。同时向观众传输N个点的视频增大了网络传输的压力，所需网络带宽为传输单一视点视频的N倍，随着视点数目增多，自由视点传输变成了不可能。
技术实现思路
本专利技术的目的是为了解决现有技术中的自由视点视频传输的问题，提出一种自由视点视频导播方法及系统。本专利技术的自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。选优地，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。选优地，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。选优地，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。选优地，所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频。本专利技术还提出一种自由视点视频导播系统，包括：多视点采集装置，同步采集多视点视频；匹配装置，对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；合成装置，依据所述“视点+视差图”视频合成虚拟视点视频。选优地，所述多视点采集装置包括：会聚式相机阵列，采集多视点视频；外同步控制器，控制多相机设备的同步，使得通过所述会聚式相机阵列采集的多视点视频信号一致；视频压缩器，对采集到的所述多视点视频进行压缩处理；视频存储服务器，对所述压缩处理后的多视点视频进行存储。选优地，所述匹配装置中含有基于光流的宽基线多视点匹配方法程序，所述方法程序能够被执行，用于通过采集到的多视点视频得到各相邻视点的视差图。选优地，所述合成装包含虚拟视点合成部件和客户端，所述客户端能够向匹配装置反馈用户的视点位置信息，所述虚拟视点合成部件能够依据所述“视点+视差图”视频合成虚拟视点视频。选优地，所述虚拟视点合成部件中含有卷绕的方法程序，所述卷绕的方法程序能够被执行，用于根据所述“视点+视差图”视频合成虚拟视点视频。与现有技术相比，本专利技术的有益效果有：本专利技术的自由视点视频导播方法及系统，通过对采集到的多视点视频进行匹配处理，得到各相邻视点的视差图，然后根据用户的视点位置，通过相邻视点与其对应视差图形成的“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。由于本专利技术自由视点视频导播方法及系统，能够根据用户的视点位置有选择地向用户传输“视点+视差图”视频，而不是将采集到的全部视点视频都进行传输，从而降低了网络传输的压力，降低了对传输带宽的需求。进一步地，本专利技术通过采用宽基线稀疏相机阵列采集多视点视频，相比于现有的采用相机拓扑结构的采集技术，减少了相机的数量，降低了采集设备的成本，同时也减少了所采集的视点数目，减轻了视频的压缩存储压力。进一步地，本专利技术通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，又通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频，提高了虚拟视点合成的准确性。附图说明图1是本专利技术现有技术中的相机拓扑结构示意图。图2是本专利技术基于虚拟视点合成的自由视点视频导播方法的流程示意图。图3是本专利技术基于虚拟视点合成的自由视点视频导播系统的结构示意图。图4是本专利技术多视点相机阵列同步采集装置的结构示意图。图5是本专利技术基于光流的宽基线多视点匹配方法的流程示意图。图6是本专利技术基于卷绕方法生成虚拟视点视频的流程示意图。具体实施方式下面结合具体实施方式并对照附图对本专利技术做进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。针对舞台场景，针对大基线相机阵列采集，本专利提出了一种基于虚拟视点合成的可交互的自由视点视频导播系统及方法，使得自由视点视频导播成为可能。本专利技术基于虚拟视点合成的可交互的自由视点视频导播方法，如图2所示，包括以下步骤：S1：采集多视点视频；S2：对采集到的多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输“视点+视差图”视频；S4：依据“视点+视差图”视频合成虚拟视点视频。其中，步骤S1和S2中所说的多视点视频是指2个或2个以上视点视频。另外，在步骤S2中，首先通过对采集到的多视点视频进行匹配处理，求得各相邻视点的视差图，然后再将多视点视频转换为“视点+视差图”的视频格式；在步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。另外，为减少采集设备的成本和减轻压缩存储压力，在步骤S1中，本专利技术采用宽基线稀疏相机阵列采集多视点视频，相比于现有的技术采用相机拓扑结构，减少了相机的数量，降低了采集设备的成本，减少了所采集的视点数目，减轻了视频的压缩存储压力；在步骤S2中，本专利技术使用基于光流的匹配算法对采集到的多视点视频进行处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式，“视点+视差图”的视频格式与原视点的视频格式相比，所占用的存储空间基本相同。因此，整体来说，本专利技术的基于虚拟视点合成的可交互的自由视点视频导播方法，降低了采集设备的成本，并且减轻了压缩存储压力。为了降低视频的网络传输压力，在步骤S3中，本专利技术根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频，或者更优选的方案，根据客户端反馈的视点位置，有选择地向用户传输与所述视点位置相邻的“视点+视差图”视频，而不是将采集到的全部视点视频都进行传输，从而降低了网络传输的压力，降低了对传输带宽的需求。为保证客户端虚拟视点合成的准确性，两个相邻左右视点视频，左视点相对右视点的视差图，右视点相对左视点的视差图被计算，并被同时传给本文档来自技高网...

【技术保护点】
一种自由视点视频导播方法，其特征在于，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。

【技术特征摘要】
1.一种自由视点视频导播方法，其特征在于，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。2.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。3.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。4.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。5.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频。6.一种自由视点视频导播系统，其特征在于，包括：多视点采集装置，同步采集多视点视频；匹配装置，对采集...

【专利技术属性】
技术研发人员：李建成，刘睿，李盼盼，朱艳宏，解松霖，郭南，
申请(专利权)人：深圳市佳创视讯技术股份有限公司，
类型：发明
国别省市：广东,44