局部图像拼接错位的矫正方法技术

本发明专利技术涉及一种局部图像拼接错位的矫正方法，包括步骤1：在存在拼接错位的全景拼接图像中确定拼接错位的区域，确定出拼接该区域的两幅拼接子图像，将拼接错位的区域作为矫正区域；步骤2：对矫正区域内的两幅拼接子图像进行精确匹配，获得能够在矫正区域内实现两幅拼接子图像精确匹配的变换矩阵，并据此计算用于矫正错位的初始坐标偏移量；步骤3：进行加权修正，以加权修正后的坐标偏移量进行矫正变换，偏移权重系数在矫正区域中心区域的取值为1，在矫正区域边缘位置的取值为0，在取值为1的区域与取值为0的区域之间逐渐过渡。本发明专利技术保证矫正区域内和矫正区域外的图像衔接的同时完成指定区域的矫正变换，得到消除错位的全景拼接图像。

【技术实现步骤摘要】
局部图像拼接错位的矫正方法
本专利技术涉及一种局部图像拼接错位的矫正方法，特别是针对全景拼接下的局部图像拼接错位的矫正方法，属于全景拼接、图像配准以及特征识别

技术介绍
图像拼接技术就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，在图像拼接技术中应用广泛的一种拼接方式就是全景拼接，全景拼接是将多幅图像重投影到一个共同表面上配准后,再对所有相邻图像进行融合,最终生成一幅全景图的过程，因此全景拼接的核心技术就是图像配准技术。目前的图像配准算法基本可以分为两大类：基于频域的方法和基于灰度级相似的方法，其中基于频域的方法也就是相位相关度法，该两大类方法具体如下：1)基于频域的方法：首先利用傅里叶变换将两幅待配准图像变换到频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图像的配准。2)基于灰度级相似的方法：是以两幅图像重叠部分的像素灰度级的相似性为配准准则，自动寻找图像的配准位置。这一方法采用的思想较为直观，目前大部分的图像配准算法都可以归为这一类，按照其配准算法的具体实现，这些算法又可以分为直接法和搜索法两大类。直接法主要包括变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用非线性迭代最小化算法直接计算出模型的变换参数，从而确定图像的配准位置；搜索法主要是以一幅图像中的某些特征为依据，在另一幅图像中搜索最佳配准位置，常用的搜索法有比值匹配法、块匹配法和网格匹配法。基于频域的图像配准方法，具有简单而精确的特点，但此方法一般需要比较大的重叠比例，通常要求配准图像之间有50％的重叠比例，如果重叠比例过小，则容易造成平移矢量的错误估计，从而较难实现图像的配准。在大规模全景拼接的工程需求下，如要达成此需要比较大的重叠比例的条件，需要提供的摄像机数量几乎翻倍上涨，这对于硬件的成本和维护方面具有很高的要求，同时过多的摄像机数量对拼接的速率和实时性也会造成较大影响。基于灰度级相似的方法克服了上述的基于频域的图像配准方法的缺点，其采用的思想直观，计算量和精度都可以满足工程需求，然而此方法在实际应用时仍然存在一定的问题。由于实际条件限制，采集拼接子视频图像的摄像机间很难保证无距离间隔，在摄像机安装间距较大，即摄像机安装间距>2m时，两摄像机对于同一区域的监看角度差别较大，导致在进行子拼接图像的灰度级相似点匹配时会发生顾此失彼的情况，从而产生比较明显的拼接错位，正如图1所示，在图1左侧图中的分别为摄像机1和摄像机2的两摄像机间间距较小时，图1左侧图中的摄像机1和摄像机2针对图1左侧图中的A点或B点的用虚线表示的拍摄角度无明显差别；而在图1右侧图中的分别为摄像机1和摄像机2的两摄像机间间距较大时，图1右侧图中的摄像机1和摄像机2针对图1右侧图中的A点或B点的用虚线表示的拍摄角度相差非常大，在拍摄角度相差非常大的条件下就会产生比较明显的拼接错位。。
技术实现思路
为解决上述问题，本专利技术提供了一种局部图像拼接错位的矫正方法，利用针对局部区域的动态特征进行变换的矫正方法，以避免在摄像机布置间距较大的情况下发生拼接错位，使拼接后的全景图像能够更好地满足实际应用需求。本专利技术的技术方案是：一种局部图像拼接错位的矫正方法，其包括如下步骤：步骤1：在存在拼接错位的全景拼接图像中确定出存在拼接错位的区域并以此作为矫正区域，确定出矫正区域对应的两幅拼接子图像；步骤2：对矫正区域内的两幅拼接子图像(即两幅拼接子图像中对应于矫正区域的部分)进行精确匹配，获得矫正区域内实现两幅拼接子图像精确匹配的变换关系，例如变换矩阵，并据此计算出能够精确矫正错位的坐标偏移量(可称为初始坐标偏移量)；步骤3：引入偏移权重系数对初始坐标偏移量进行加权修正，以加权修正后的坐标偏移量进行矫正变换，进而得到消除了错位的全景拼接图像，所述偏移权重系数在矫正区域中心区域的取值为1，在矫正区域边缘位置的取值为0，在取值为1的区域与取值为0的区域之间逐渐过渡。进一步地，所述存在拼接错位的全景拼接图像可以由多幅图像采用基于灰度级相似的方法等任意方式拼接而成，所述对矫正区域内的两幅拼接子图像进行精确匹配的方法可以为基于ORB特征的匹配方法或其他适宜方法。所述步骤1中，可以在拼接错位的全景图像中手动框选出发生拼接错位的区域，由此实现对所述矫正区域的确定。所述步骤2中，可以采用ORB特征提取方法对矫正区域内的两幅拼接子图像进行特征检测，据此实现两幅拼接子图像的配准。优选地，所述采用ORB特征提取方法对矫正区域内的两幅拼接子图像进行特征检测的步骤可以包括：步骤2-1(特征点提取及匹配步骤)：对矫正区域内的所述两幅拼接子图像进行角点检测，以角点作为匹配特征点，检测出的角点构成特征点备选集合，确定匹配特征点的主方向，结合匹配特征点的主方向提取匹配特征点的描述子，确定两幅拼接子图像在矫正区域内的备选特征匹配点对；步骤2-2(变换矩阵计算确定步骤)：从备选特征匹配点对中剔除误匹配点对，得到用于变换的特征匹配点对，依据用于变换的特征匹配点对计算出两幅拼接子图像精确匹配的变换矩阵，获得变换矩阵中各矩阵元素的值。优选地，在步骤2-1中，1)采用FAST算法检测各拼接子图像的角点：对拼接子图像在矫正区域内的各像素点P，以像素点P为圆心画一个圆周上带有16个像素点的圆，若该圆上像素值均大于Xp+T的连续像素点或均小于Xp-T的连续像素点的数量不少于N个，则该像素点P为一角点，以检测出的所有角点作为特征点备选集合，其中Xp为像素点P的像素值，N为设定的正整数，例如通常情况下可以为9或12，T为设定的第一阈值，第一阈值T的设定会影响特征点的检测数量，可以根据实际需要设定，例如，通常情况可设为40；通过图像邻域的灰度矩确定特征点的主方向，所述灰度矩的计算如公式(1)所示：其中mpq表示特征点邻域的p+q阶灰度矩，p、q为非负整数，表示灰度矩的阶数，I(x,y)为特征点邻域内(x,y)处的灰度值，其中x表示横坐标，y表示纵坐标，特征点邻域的质心为：C＝(Cx,Cy)，其中，由此该特征点的主方向θ为公式(2)所示：θ＝arctan2(m01,m10)(2)；2)以BRIEF作为特征描述方法进行特征点描述子的提取：将特征点周围点对的坐标用公式(3)所示的坐标矩阵S表示：其中，n为该特征点周围点对的个数,为正整数，也就是在特征点周围共有2n个点，(xi,yi)为在该特征点周围第i个点的坐标，xi为第i个点的横坐标，yi为第i个点的纵坐标；使用旋转矩阵Rθ构建坐标矩阵S的校正矩阵Sθ，所述校正矩阵Sθ如公式(4)所示：其中，旋转矩阵Rθ如公式(5)所示：θ为该特征点的主方向，xi′和yi′分别为上述第i个点经过旋转矫正后的横坐标和纵坐标，通过校正矩阵Sθ可以生成如下特征点描述子：i＝1,2,……2n，用于表述特征点周围的第i个点，j＝1,2,……2n，用于表述特征点周围的第j点，Pi′和Pj′分别是Pi和Pj点旋转后的点，例如，P′2k-1、P′2k分别为P2k-1、P2k点旋转后的点，I(P)表示P点的图像灰度值，例如，I(Pi′)和I(Pj′)分别为点Pi′和Pj′的图像灰度值，生成的特征描述子gn(1,θ)是二值字串，因此可通过汉明距离表征特征点间的相似本文档来自技高网...

【技术保护点】
一种局部图像拼接错位的矫正方法，其特征在于包括如下步骤：步骤1：在存在拼接错位的全景拼接图像中确定出存在拼接错位的区域并以此作为矫正区域，确定出矫正区域对应的两幅拼接子图像；步骤2：对矫正区域内的两幅拼接子图像进行精确匹配，获得矫正区域内实现两幅拼接子图像精确匹配的变换关系，并据此计算出能够精确矫正错位的初始坐标偏移量；步骤3：引入偏移权重系数对初始坐标偏移量进行加权修正，以加权修正后的坐标偏移量进行矫正变换，进而得到消除了错位的全景拼接图像，所述偏移权重系数在矫正区域中心区域的取值为1，在矫正区域边缘位置的取值为0，在取值为1的区域与取值为0的区域之间逐渐过渡。

【技术特征摘要】
1.一种局部图像拼接错位的矫正方法，其特征在于包括如下步骤：步骤1：在存在拼接错位的全景拼接图像中确定出存在拼接错位的区域并以此作为矫正区域，确定出矫正区域对应的两幅拼接子图像；步骤2：对矫正区域内的两幅拼接子图像进行精确匹配，获得矫正区域内实现两幅拼接子图像精确匹配的变换关系，并据此计算出能够精确矫正错位的初始坐标偏移量；步骤3：引入偏移权重系数对初始坐标偏移量进行加权修正，以加权修正后的坐标偏移量进行矫正变换，进而得到消除了错位的全景拼接图像，所述偏移权重系数在矫正区域中心区域的取值为1，在矫正区域边缘位置的取值为0，在取值为1的区域与取值为0的区域之间逐渐过渡。2.根据权利要求1所述的局部图像拼接错位的矫正方法，其特征在于所述存在拼接错位的全景拼接图像由多幅图像采用基于灰度级相似的方法拼接而成，所述对矫正区域内的两幅拼接子图像进行精确匹配的方法为基于ORB特征的匹配方法。3.根据权利要求1所述的局部图像拼接错位的矫正方法，其特征在于所述步骤1中，在拼接错位的全景图像中手动框选出发生拼接错位的区域，由此实现对所述矫正区域的确定。4.根据权利要求1所述的局部图像拼接错位的矫正方法，其特征在于所述步骤2中，采用ORB特征提取方法对矫正区域内的两幅拼接子图像进行特征检测，据此实现两幅拼接子图像的配准。5.根据权利要求4所述的局部图像拼接错位的矫正方法，其特征在于所述采用ORB特征提取方法对矫正区域内的两幅拼接子图像进行特征检测的步骤包括：步骤2-1：对矫正区域内的所述两幅拼接子图像进行角点检测，以角点作为匹配特征点，确定匹配特征点的主方向，结合匹配特征点的主方向提取匹配特征点的描述子，确定两幅拼接子图像在矫正区域内的备选特征匹配点对；步骤2-2：从备选特征匹配点对中剔除误匹配点对，得到用于变换的特征匹配点对，依据用于变换的特征匹配点对计算出两幅拼接子图像精确匹配的变换矩阵。6.根据权利要求5所述的局部图像拼接错位的矫正方法，其特征在于步骤2-1中，1)采用FAST算法检测拼接子图像的角点：对拼接子图像在矫正区域内的各像素点P，以像素点P为圆心画一个圆周上带有16个像素点的圆，若该圆上像素值均大于Xp+T的连续像素点或像素值均小于Xp-T的连续像素点的数量不少于N个，则该像素点P为一角点，以检测出的所有角点作为特征点备选集合，其中Xp为像素点P的像素值，N为设定的正整数，T为设定的第一阈值；通过图像邻域的灰度矩确定特征点的主方向，所述灰度矩的计算如公式(1)所示：其中mpq表示特征点邻域的p+q阶灰度矩，p、q为非负整数，表示灰度矩的阶数，I(x,y)为特征点邻域内(x,y)处的灰度值，其中x表示横坐标，y表示纵坐标，特征点邻域的质心C＝(Cx,Cy)，其中，由此该特征点的主方向θ为公式(2)所示：θ＝arctan2(m01,m10)(2)；2)以BRIEF作为特征描述方法进行特征点描述子的提取：将特征点周围点对的坐标用公式(3)所示的坐标矩阵S表示：其中，n为该特征点周围点对的个数，为正整数，(xi,yi)为在该特征点周围第i个点的坐标，xi为第i个点的横坐标，yi为第i个点的纵坐标；使用旋转矩阵Rθ构建坐标矩阵S的校正矩阵Sθ，所述校正矩阵Sθ如公式(4)所示：其中，旋转矩阵Rθ如公式(5)所示：其中，θ为该特征点的主方向，xi′和yi′分别为上述第i个点经过旋转矫正后的横坐标和纵坐标，通过校正矩阵Sθ可以生成如下特征点描述子：

【专利技术属性】
技术研发人员：吴刚，侯文静，郑文涛，王国夫，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京,11