一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法制造技术

本发明专利技术公开了一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，属于视频信息处理技术领域。通过多目摄像机系统采集具有重叠区域的实时视频流；提取重叠区域的特征点并对特征点进行粗匹配和提纯，结合光束平差法计算出每一目摄像机的内参矩阵和旋转矩阵；在对不同视角间的图像进行球面投影并扭曲到同一基准平面后，采用最佳缝合线算法对视频图像进行拼合，针对有运动物体经过图像重叠区域而产生重影和模糊的情况，采用最佳缝合线动态更新算法来避免运动物体穿过缝合线时所产生的重影和模糊现象；利用改进的渐入渐出融合算法得到具有良好视觉效果的宽视场和高分辨率的全景拼接视频。其步骤简单，能够快速得到具有良好视觉效果的拼接图。

【技术实现步骤摘要】
一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
本专利技术涉及一种视频融合算法，尤其适用于多目摄像机系统使用的一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，属于视频信息处理

技术介绍
视觉是人类获取信息最有效的手段，人类每天接收到的信息约有80％是通过视觉获取的。在当今社会，数码摄像机等拍摄设备、摄影录像等技术已经成为每个家庭的必须品，视频和图像等多媒体信息更是在监控安防、智能驾驶、娱乐、遥感、军事等诸多领域发挥着重要的作用。目前，市面上大多数的视频拍摄设备能获得的视场较小，远不及人眼视场，这很难满足目前人们对于大视场、高分辨率视频的需求。因此，视频拼接技术应运而生。视频拼接技术是以图像拼接技术为基础的。所谓视频拼接，就是将多目摄像机采集到的具有重叠区域的视频流根据一定的配准与融合技术将其拼合在一起形成具有大视场和高分辨率的全景视频流。视频拼接技术被广泛应用在多个领域，但是目前多数的视频拼接方法难以满足日益增长的实时性和视觉质量要求。图像拼接主要包含图像配准和图像融合两个方面。目前，国内外学者已经提出多种不同的图像拼接方法。在图像配准方面，Lowe在2003年提出一种基于尺度不变特征变换(SIFT)的特征检测图像配准算法，该方法可以在保证仿射、噪声、视角等性能稳定的同时，不改变图像局部特征(如亮度、旋转、缩放)的属性，因此具有较好的鲁棒性。然而SIFT算法的计算较为复杂，因此实时性不高，并且对于边缘光滑的目标特征点提取能力较弱。为了改进SIFT算法的缺陷，2006年，Bay等人提出SURF算法，该算法改进了特征点的提取和描述方式，使得特征点的匹配变得更为高效。2011年，Roblee提出ORB图像配准方法，该算法结合了FAST角点检测和BRIEF特征点描述子生成两种算法，大大提高了图像拼接的速度。目前，ORB算法是国际上拼接速度较快的算法，但是由于ORB算法不具有尺度不变性，所以其应用范围相比SURF和SIFT算法受限很多。在图像融合方面，图像配准完成后需要将多张图像融合为一张视觉一致的无缝宽视场图像，关于图像融合的方法国内外也已经有了很多关于该方面的研究。由于简单的Alpha融合和羽化融合外都无法处理图像融合过程中出现的接缝和鬼影问题。为解决拼接过程中出现的鬼影和接缝问题，Burt提出了一种基于图像金字塔的多频带融合方法。PatrickPerez将图像的融合问题定义为一个图像编辑的问题，并使用泊松偏微分方程和狄利克雷边界条件求解获得了具有良好视觉一致性的无缝融合图像。但由于解泊松偏微分方程本身是一个变分的问题，求解该方程的时间复杂度很高。为提高效率，ZeevFarbman提出可以将原来图像编辑问题转化为一个使用边界值对区域内部进行插值的均值坐标系方法，在保证图像融合效果的情况下，提高了图像融合的速度。为进一步提升计算效率，ZeevFarbman在2011年提出了一种使用卷积金字塔替代均值坐标系的算法，在保证融合性能的前提条件下进一步提高了计算的效率。视频拼接技术与图像拼接技术的最大不同之处在于视频拼接中会有运动物体的干扰。在图像拼接技术中，使用最佳缝合线算法可以很好的避免重叠区域中重影和模糊现象的出现，但是在视频拼接中，当有运动物体进过最佳缝合线时，将会产生很明显的重影、模糊以及拼接缝。因此，对于视频拼接，需要实时地更新最佳缝合线来避免运动物体通过。现有的大多数视频拼接算法，无法在保证实时的同时又能得到具有良好视觉效果的全景视频。由于不同视角的摄像机对同一区域拍摄的画面会产生一定的视差，这将在拼接图像中的重叠区域产生模糊和重影现象，尤其是当有运动物体经过缝合线时，这一现象将会变得更加明显。此外，不同摄像机拍摄到的视频画面可能存在不同的光照差异，这将会使得最终拼接图像的重叠区域出现很明显的拼接缝和过渡不平滑的问题。目前大多数算法不能同时兼顾实时性与拼接图像效果。
技术实现思路
技术问题：针对上述技术问题，提供一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，能够很好的解决因运动物体经过缝合线以及不同光照差异所产生的重影、模糊、拼接缝和过渡不平滑的问题，同时兼顾实时性与拼接图像效果。技术方案：为实现上述技术目的，本专利技术的一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；具体的步骤如下：步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射。步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像。所述多目摄像机系统为Insta360Pro2多目摄像头系统，该摄像机系统呈球状，在机身四周同一水平面上等间隔分布了6个具有同样光学特性的鱼眼镜头，拍摄的视场相比人眼视场宽阔很多，相邻镜头间采集的视频具有一定的重叠区域，大约占视频画面的三分之一。对校正后的第一帧视频图像运用SURF算法提取特征点并生成对应的特征描述子；采用最近邻算法对相邻已校正图像的特征点进行粗匹配，再采用RANSAC算法对匹配的特征点对进行提纯，最终求出相邻两幅图像之间的单应性变换矩阵；先根据求出的单应性变换矩阵估算出每目镜头的内参矩阵本文档来自技高网...

【技术保护点】
1.一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；/n具体的步骤如下：/n步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；/n步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；/n步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；/n步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射。/n步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；/n步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；/n步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；/n步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；/n步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；/n步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；/n步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像。/n...

【技术特征摘要】
1.一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；
具体的步骤如下：
步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；
步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；
步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；
步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射。
步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；
步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；
步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；
步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；
步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；
步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；
步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像。


2.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：所述多目摄像机系统为Insta360Pro2多目摄像头系统，该摄像机系统呈球状，在机身四周同一水平面上等间隔分布了6个具有同样光学特性的鱼眼镜头，拍摄的视场相比人眼视场宽阔很多，相邻镜头间采集的视频具有一定的重叠区域，大约占视频画面的三分之一。


3.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：对校正后的第一帧视频图像运用SURF算法提取特征点并生成对应的特征描述子；
采用最近邻算法对相邻已校正图像的特征点进行粗匹配，再采用RANSAC算法对匹配的特征点对进行提纯，最终求出相邻两幅图像之间的单应性变换矩阵；
先根据求出的单应性变换矩阵估算出每目镜头的内参矩阵和旋转矩阵，再采用光束平差法得到镜头精确化后的内参矩阵和旋转矩阵并保存；
最后根据镜头的内参矩阵和旋转矩阵对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准图像所在的平面上，得到投影映射矩阵并保存。


4.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：所述基于动态规划的最佳缝合线算法，具体表现为在相邻两幅图像的重叠区域寻找一条最佳缝合线，在该缝合线上的像素点彼此最为相似；为了搜索最佳缝合线，首选定义一个相似函数e(i,j)，用于衡量像素之间的灰度、梯度和纹理强度的相似度，e(i,j)越小，则表明两图像在该像素位置越相似：
e(i,j)＝w1ξI(i,j)+w2ξ▽(i,j)
其中ξI(i,j)和ξ▽(i,j)表示重叠区域同一像素位置I1(i,j)和I2(i...

【专利技术属性】
技术研发人员：俞菲，刘闯，陈康，梁蕴琪，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32