一种拼接类全景视频的基准视场确定方法、系统及设备技术方案

本发明专利技术适用于图像处理技术领域，提供了一种拼接类全景视频的基准视场确定方法、系统及全景视频处理设备。本发明专利技术从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题。

【技术实现步骤摘要】

本专利技术属于图像处理
，尤其涉及一种拼接类全景视频的基准视场确定方法、系统及设备。
技术介绍
目前，实时全景视频的生成一般采取两类方式第一类是利用广角镜头或全景反射光学镜头生成全景视频；第二类是利用多个摄像机获取的多个视角的视频经过变换、拼接、融合为一个包含各视角视频内容的大视场全景视频。其中，在第二类方式中，将处于一个近似成像平面上的多摄像机组成摄像机阵列， 将阵列中的摄像机置于方向基本一致的前视状态，阵列中相邻摄像机之间的视场具有一定的重叠，则阵列中的全部摄像机的视场可组成一个高分辨的大视场。要将这样一个摄像机阵列中各个摄像机的视频实时拼接起来组成一个实时全景视频，一般来说又有两种方法。 其中第一种方法是采用全人工的方式，这类方式对阵列中各摄像机之间的参数一致性要求非常高，人工调校的难度非常大；第二种方法是采用计算机自动学习全景拼接参数，并完成视频全景的自动拼接。在第二种方法中一般只需要操作人员将阵列中的每个摄像机的视场置于一个基本一致的平面上，并将相邻摄像机之间的视场粗略调校到有一定的重叠，而其它的任务则由计算机自动完成。上述第二种方法在进行阵列全景视频自动拼接过程中存在一个关键问题基准视场的选取问题。在上述自由摄像机阵列全景视频的拼接中，阵列中各摄像机的视场一般不会在一个严格的平面上，视场之间的重叠区域也是事先未定标的，因此在摄像机阵列全景视频生成时，需要选定某一个摄像机视场所在的坐标系作为基准的全景参考坐标系，而将阵列中的其它摄像机的视场通过空间投影变换到该参考坐标系下，然后利用融合技术生成全景视频。上述作为基准的参考坐标系是阵列中某个摄像机的视场坐标系，因此也称该坐标系为基准视场。在摄像机阵列中，基准视场的选择对全景视频的生成质量影响较大。一般来说，选择不同的基准视场，在生成全景视频时由各个摄像机视场对基准视场投影变换后产生的视场误差也不相同。若整体的误差越小则生成的全景视频的质量越好。因此，如何选择误差最小的基准视场是摄像机阵列全景视频拼接中的一个关键问题之一。在摄像机阵列全景视频生成中，现有的技术通常是人为地在摄像机阵列中选取其中一个摄像机的视场作为基准视场，其它视场按照映射关系投影变换到该基准视场的坐标系中。这种基准视场的人为选择方法在摄像机阵列规模较小时效果尚可，但在摄像机阵列较大时，由于阵列中的每个摄像机的视场都具有一定的自由性，因此，人为选出的基准视场往往并非最佳的基准视场。总之，现有技术中针对摄像机阵列全景视频拼接中最优基准视场的自动选取尚没有一个较好的解决方法。
技术实现思路
本专利技术所要解决的技术问题在于提供一种拼接类全景视频的基准视场确定方法， 旨在通过摄像机阵列生成全景视频时选择最优的基准视场，提高拼接类全景视频的整体质量。本专利技术是这样实现的，一种拼接类全景视频的基准视场确定方法，包括下述步骤步骤A，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；步骤B，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δi ；步骤C，按照i为1至η的顺序重复步骤B，得到η个几何形变度量之和，在选取过的η个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中η为所述的摄像机阵列中摄像机的数量。进一步地，所述步骤B具体包括下述步骤步骤Bi，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；步骤Β2，在步骤Bl中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；步骤Β3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；步骤Β4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；步骤Β5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。进一步地，设定所述单源最短路径树中从当前根节点k到非根节点ρ的路径经过的节点序列为k、kl.....p，对应的视场分别为Vk(1、Vkl.....Vkm，其中，Vktl = Vk, Vkm = Vp,所述步骤B3通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵Hkp = HklHyHkm其中，Hkp为非根节点ρ的视场Vp到当前根节点k的视场Vk的投影变换矩阵，Hki 为由视场Vki到视场Vk(H)的投影变换矩阵，i = 1，2，. . .，m。本专利技术还提供了一种拼接类全景视频的基准视场确定系统，包括邻接摄像机子集合查找单元，用于在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；几何形变度量计算单元，用于在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i 的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ ρ并按照i为1 至η的顺序重复步骤B，得到η个几何形变度量之和，其中η为所述的摄像机阵列中摄像机的数量；基准视场确定单元，用于在选取过的η个摄像机中，将所述几何形变度量计算单元计算得到的η个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。进一步地，所述几何形变度量计算单元包括视场连通关系的视场邻接关系图构造模块，用于根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；单源最短路径树生成模块，用于在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；投影变换矩阵计算模块，用于根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；投影变换模块本文档来自技高网...

【技术保护点】
１．一种拼接类全景视频的基准视场确定方法，其特征在于，包括下述步骤：步骤Ａ，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；步骤Ｂ，于所述摄像机阵列中选取摄像机ｉ，根据步骤Ａ得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机ｉ的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δｉ；步骤Ｃ，按照ｉ为１至ｎ的顺序重复步骤Ｂ，得到ｎ个几何形变度量之和，在选取过的ｎ个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中ｎ为所述的摄像机阵列中摄像机的数量。

【技术特征摘要】

【专利技术属性】
技术研发人员：裴继红，谢维信，杨烜，
申请(专利权)人：深圳大学，
类型：发明
国别省市：94