一种基于运动检测的图像配准方法技术

一种基于运动检测的图像配准方法，包括如下步骤：假定全景摄像机组的位置以及相对位置都不发生变换，获取待配准图像；通过SPHP算法，拼接产生第一幅全景图像，并记录每一像素点的原图像所属等参数；计算图像中相互重叠区域，并采用帧差法检测是否出现较大运动物体，对该区域进行查表、融合等处理，并生成全景图像；如果在某一区域发现较大运动物体，则将运动物体的范围标记出来，并将该区域对应的全景图像中的区域的1.2倍进行零值设定；重复直至生成全景图像。因重叠区域出现的空洞区域的2.0倍范围与运动目标所在原图像中的区域的2.0倍进行单应性变换、实现图像的拼接与叠加。通过此方法，可以消除图像中行人周围区域的重影，得到更好的拼接效果。

【技术实现步骤摘要】
一种基于运动检测的图像配准方法
本专利技术属于图像处理
，涉及一种基于运动检测的图像配准方法。
技术介绍
随着图像处理技术的发展，图像配准已经被广泛应用于汽车电子、虚拟旅游、全景看房等众多领域。图像配准可以将多张相邻的图像拼接为一幅图像，增大单幅图像的视野范围，利于观察。除此之外，将多摄像机全景拼接技术引入WMSN中，即可以在无云台的条件下实现WMSN节点的全向视觉感知。同时，由于采用了多个摄像机同时采集节点周围的视觉信息，因此可以完全避免为多节点的同步问题。目前对图像配准的研究大部分是基于以下两个条件：(1)相邻图像是在在同心的条件拍摄，即在拍摄照片的时候，尽量使相机的焦点聚集在一点，通过转动摄像机，拍摄周围的图像；(2)拍摄的场景中不存在行人等运动物体，即要求待配准图像中的物体是静止的。基于这两个条件，可以通过分析摄像机的成像模型以及图像的分辨率，确定相邻图像的重叠区域并进行柱面投影，在此基础上采用平移或单应性变换的方式进行图像配准，可以获得很好的配准效果。当配准图像中存在着近景、远景时，可以通过聚类等方式将特征点划分为近景、远景两个区域，求取各自的单应性矩阵，采用距离加权的方式对图像进行双矩阵变换获取图像的配准。但是在现实生活中，大部分图片很难满足以上两个条件，即相邻的图像不在同一个角度下拍摄，两幅图像存在着明显的视差，并且拍摄的场景中有行人等运动物体。在这种情况下，由于视差、运动物体等因素的存在，现有的方法很难达到精确的配准。APAP或SPHP尽管可以减小视差对配准的影响，但是当图像中存在着运动物体时，这两种方法对背景图像的配准效果可以，对运动物体会出现拼接错位，严重的影响视觉效果。综上所述，当待配准图像中存在较大视差且有运动物体时，当前的配准算法没有考虑到运动物体对配准的影响，导致在进行透视变换的时候视角改变，在配准图像的重叠区域会出现较为明显的鬼影或拼缝，严重的影响配准效果。
技术实现思路
针对当前算法对运动图像配准的不足，本专利技术提供了一种基于运动检测的图像配准方法。本专利技术采用全景摄像机组采集视频，从视频中读取待配准图像，采用SPHP对图像进行配准，形成第一帧配准图像，然后计算每一幅原始图像中相互重叠区域，并采用帧差法检测每一区域是否出现较大运动物体。对出现的运动物体进行标记并分割出来，在进行配准时该区域只取其中一幅图像的信息，这样就能够消除SPHP算法在较大视差情况下的配准误差，而已引入的SPHP算法又保持了图像间原有的和目标场景间的透视投影关系。具体步骤如下：步骤一：设定全景摄像机组的位置以及相对位置都不再发生变换，即每个相机的外参都不再发生改变，获取待配准图像。步骤二：通过SPHP算法拼接产生第一幅全景图像，并记录全景图像中每一像素点的原图像所属、原始图像中的位置、特征点对的位置、拼缝位置等参数。SPHP算法需要进行坐标系的变换处理，分为三个过程：坐标系转换、局部投影变换以及图像配准。(1)坐标系转换考虑到SPHP的三种图像变换需沿直线进行连续过渡，需要转换图像坐标系。对图像坐标系旋转一定角度，建立新的坐标系，设为uOv坐标系。旋转后的坐标系uOv下坐标(u,v)和原图像坐标系xOy下坐标(x,y)间的变换关系为：采用透视变换公式，可以得到：其中：(2)局部投影变换考虑到图像变换的连续以及变换后图像的形状保持，将需要变换的图像在uOv坐标系中分为三个部分：单应性变换区域RH＝{(u,v)|u<u1}、过渡区域RT＝{(u,v)|u1<u<u2}以及相似变换区域RS＝{(u,v)|u>u2}。可以通过以下公式表示整个图像的变换：其中，T(u,v)是过渡函数，S(u,v)为相似函数：(3)SPHP配准算法在上文求解未知量与未知函数时，是在假定u1与u2已知的情况下进行的。因此需要对这两个参数进行求解。考虑到为了保证图像与场景间的投影关系，需要尽可能使图像变换函数ω近似于相似变换。因此需要如下的能量函数：式中，F代表弗洛贝尼斯范数；Ω为目标图像内一块矩形区域；J(x,y；u1,u2)为函数ω在像素点(x,y)处的雅各比矩阵。由于能量函数E与变量u1，u2之间并不是线性关系，因此采用均匀采样的方法对式(14)进行求解，将各个采样值代入能量函数中，当参考图像的能量函数和目标图像的能量函数之和达到最小时u1,u2的值即为所求解的值。步骤三：计算每一幅原始图像中相互重叠区域，并采用帧差法检测在重叠区域是否出现大于重叠区域面积20％的运动物体，如果没有未发现大于重叠区域面积20％的运动物体，则对该区域进行查表、融合等处理，并生成重叠区域的全景图像；如果在某一区域发现大于重叠区域面积20％的运动物体，则将运动物体轮廓范围标记出来，并将该区域对应的全景图像中的区域的1.2倍进行零值设定。设两幅待图像的重叠区域面积为areao，采用上下帧做差在重叠区域检测出来的运动物体为areami，其中i为运动物体的编号。当满足如下条件：areami>0.2*areao(6)则进行步骤四处理，否则将该运动物体的检测图像直接舍弃，因为较小的运动物体对拼接效果影响很小。步骤四：重复步骤三，直至生成全景图像。全景图像可能因重叠区域存在较大运动物体，而存在空洞。此时，将空洞区域的2.0倍范围与运动目标所在原图像中的区域的2.0倍进行单应性变换、实现图像的拼接与叠加。最后，结合图像融合方案，对该区域进行亮度、色彩调整，生成360度无缝全景图像。本专利技术的方法充分考虑了运动图像对相邻图像配准的影响，从系统的实时性出发，采用帧差法进行图像中运动物体的检测，并且采用SPHP图像配准算法，保持了图像本身和目标场景间的透视投影关系，消除了较大视差情况下多幅图像的配准误差，有效地改善了图像拼接效果。附图说明图1是本专利技术的流程图。图2是本专利技术的待配准图。图3是本专利技术的SPHP配准效果图(未加运动检测)。图4是本专利技术的待配准图像运动检测效果图。图5是本专利技术的待配准图像零值设定效果图。图6是本专利技术的基于运动检测的配准效果图。具体实施方式本实施方式的软件环境为WINDOWS7系统，仿真环境为MATLAB2008a，如图1所示。步骤一：假定全景摄像机组一旦投入使用后，其位置以及相对位置都不再发生变换，即每个相机的外参都不再发生改变，获取待配准图像，如图2所示。步骤2：通过SPHP算法，拼接产生第一幅全景图像，并记录全景图像中每一像素点的原图像所属、在原始图像中的位置、特征点对的位置、拼缝的位置等参数。通过RANSAC计算图2图像的透视矩阵，可得通过公式14优化可得u1＝-368.515539，u2＝0.000000。通过SPHP获得的配准图像如图3所示。步骤三：计算每一幅原始图像中相互重叠区域，并采用帧差法检测每一区域是否出现较大运动物体，如果没有未发现较大运动物体，则对该区域进行查表、融合等处理，并生成全景图像；如果在某一区域发现较大运动物体，则将运动物体的范围标记出来，并将该区域对应的全景图像中的区域的1.2倍进行零值设定。待配准图像运动检测效果如图4所示。待配准图像零值设定效果如图5所示。步骤四：重复步骤三，直至生成全景图像，这里全景图像可能因重叠区域存在较大运动物体，而存在空洞。此时，将空洞区域的2.0本文档来自技高网...

【技术保护点】
一种基于运动检测的图像配准方法，其特征在于以下步骤：步骤一：设定全景摄像机组的位置以及相对位置都不再发生变换，即每个相机的外参都不再发生改变；步骤二：通过SPHP算法，拼接过程如公式(4)所示，产生第一幅全景图像，建立表格，以供拼接查表，并记录全景图像中每一像素点的原图像所属、在原始图像中的位置、特征点对的位置、拼缝的位置等参数；其中单应性变换区域RH＝{(u,v)|u<u1}、过渡区域RT＝{(u,v)|u1<u<u2}以及相似变换区域RS＝{(u,v)|u>u2}；

【技术特征摘要】
1.一种基于运动检测的图像配准方法，其特征在于以下步骤：步骤一：设定全景摄像机组的位置以及相对位置都不再发生变换，即每个相机的外参都不再发生改变；步骤二：通过SPHP算法，拼接过程如公式(4)所示，产生第一幅全景图像，建立表格，以供拼接查表，并记录全景图像中每一像素点的原图像所属、在原始图像中的位置、特征点对的位置、拼缝的位置等参数；其中单应性变换区域RH＝{(u,v)|u<u1}、过渡区域RT＝{(u,v)|u1<u<u2}以及相似变换区域RS＝{(u,v)|u>u2}；

【专利技术属性】
技术研发人员：张云洲，张杰，蒋建军，陶亮，王争，崔家华，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21