用于对图像进行拼接的方法和装置制造方法及图纸

本发明专利技术涉及一种对图像进行拼接的方法和装置。该方法包括：基于第一重叠图像中的像素的梯度信息确定其中的稠密区域；将稠密区域划分为多个块，并在第二重叠图像中确定与多个块分别对应的对应块；基于每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对；基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和倾斜角度来计算稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。

Method and device for stitching images

The invention relates to a method and a device for splicing images. The method comprises: a dense region to determine the gradient information of pixels in the image based on the overlapped first; the dense area is divided into a plurality of blocks, and in second overlapping images in corresponding blocks corresponding to the plurality of blocks respectively; to determine the candidate sample block gradient each pixel in each block based on the values for each; a candidate sample block, the block to find the candidate samples and second overlap in the image corresponding to the matching feature point pairs; to determine the candidate exemplar matching feature points in all the stable matching feature points on the tilt angle of the connection between the matching feature points based on the number of feature points; match each candidate sample block and the inclination angle is calculated based on the stable matching confidence feature points; selecting the predetermined proportion of high confidence of matching feature points to correct remaining confidence Low matching feature points pairs, and image mosaic based on the obtained matching feature points pairs.

【技术实现步骤摘要】
用于对图像进行拼接的方法和装置
本专利技术涉及图像处理领域，更具体地涉及一种用于对图像进行拼接的方法和装置。
技术介绍
图像拼接适用于大幅面的图像处理。对两张图像进行拼接是在要拼接的两张图像存在重合的相同区域的前提下完成的。在图像拼接应用中，特征点匹配是一个重要的步骤。通过surf，sift，fast等方法在两张图像中提取特征点从而粗对齐了两张图像后，局部特征点还是由于局部变形而没有匹配上。需要一种能够找到均匀分布在重叠的图像区域中的、更加鲁棒并且准确的匹配特征点的方法和装置。
技术实现思路
在下文中给出关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本专利技术的一个主要目的在于，提供了一种对图像进行拼接的方法，包括：基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。根据本专利技术的一个方面，提供一种对图像进行拼接的装置，包括：稠密区域确定单元，被配置为基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；块确定单元，被配置为将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；候选样本块确定单元，被配置为基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；匹配特征点对确定单元，被配置为针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；稳定匹配特征点对确定单元，被配置为针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点对中的稳定匹配特征点对；置信度计算单元，被配置为基于每个块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块中的稳定匹配特征点对的置信度；校正单元，被配置为选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及拼接单元，被配置为基于所获得的匹配特征点对进行图像拼接。另外，本专利技术的实施例还提供了用于实现上述方法的计算机程序。此外，本专利技术的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。通过以下结合附图对本专利技术的最佳实施例的详细说明，本专利技术的这些以及其他优点将更加明显。附图说明参照下面结合附图对本专利技术实施例的说明，会更加容易地理解本专利技术的以上和其它目的、特点和优点。附图中的部件只是为了示出本专利技术的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1A和1B示出两张待拼接的图像，图1C是将两张图像粗对齐后得到的图像片段；图2示出了根据本专利技术的一个实施例的用于对图像进行拼接的方法200的示例性过程的流程图；图3是示出图2中的步骤S202的一种示例性过程的流程图；图4示出了对第一重叠图像进行二值化处理后所得到的最优二值化图；图5对图像中的稠密区域进行划分的示意图；图6是示出图2中的步骤S206的一种示例性过程的流程图；图7是示出图2中的步骤S210的一种示例性过程的流程图；图8是示出根据本专利技术的一个实施例的对图像进行拼接的装置800的示例性配置的框图；图9是示出图8中的稠密区域确定单元802的一种示例性配置的框图；图10是示出图8中的候选样本块确定单元806的一种示例性配置的框图；图11是示出图8中的稳定匹配特征点对确定单元810的一种示例性配置的框图；以及图12是示出可以用于实施本专利技术的对图像进行拼接的方法和装置的计算设备的示例性结构图。具体实施方式在下文中将结合附图对本专利技术的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的设备结构和/或处理步骤，而省略了与本专利技术关系不大的其他细节。本专利技术提出了一种更加准确和鲁棒地匹配两张图像中的局部特征点的方法。在本专利技术的方法中，首先在重叠的区域中提取稠密区域以用于特征点的提取。然后，将稠密区域划分为多个小块以得到足够提取候选匹配特征点的区域。接着，需要找到划分的区域中的匹配点及其对应的置信度，获得最鲁棒的匹配点。最后，在这些划分的块中选择置信度高的匹配点，可以使用线性拟合方法来校正置信度较低的匹配点，从而可以基于匹配点来对图像进行拼接。下面结合附图详细说明根据本专利技术的实施例的对图像进行拼接的方法和装置。下文中的描述按如下顺序进行：1.对图像进行拼接的方法2.对图像进行拼接的装置3.用以实施本申请的方法和装置的计算设备[1.对图像进行拼接的方法]根据本专利技术的方法所要处理的对象是两张图像的重叠区域粗对齐后得到的图像片段，并且图像片段在原图像上的位置是已知的。如图1A和1B所示是两张待拼接的图像，图1C是将两张待拼接的图像上下粗略对齐后得到的图像片段。本领域技术人员可以理解，两张图像可以上下对齐也可以左右对齐，下面的说明中以将两张图像上下对齐为例来说明根据本专利技术的方法。图2示出了根据本专利技术的一个实施例的用于对图像进行拼接的方法200的示例性过程的流程图。这里，将图1A和图1B中的图像分别称为第一图像和第二图像，将图1C中的图像片段的上部称为第一图像的第一重叠图像，将其下部称为第二图像的第二重叠图像。首先，在步骤S202中，基于第一重叠图像中的像素的梯度信息确定第一重叠图像中的稠密区域。稠密的区域即包含更多的字符或图形，在第一重叠图像中找到最稠密的区域使得可以更鲁棒地提取特征点。图3是示出图2中的步骤S202中基于第一重叠图像中的像素的梯度信息确定第一重叠图像中的稠密区域的一种示例性过程的流程图。如图3所示，首先，在步骤S2022中，用大津方法和梯度方法分别对第一重叠图像进行二值化得到两个二值化图像。接着，在步骤S2024中，对所得到的两个二值化图像进行或运算得到更好的优化二值化图像。然后，在步骤S2026中，对优化二值化图像的每一行迭代计算像素的梯度本文档来自技高网...

【技术保护点】
一种对图像进行拼接的方法，包括：基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。

【技术特征摘要】
1.一种对图像进行拼接的方法，包括：基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。2.根据权利要求1所述的方法，其中，基于所述第一重叠图像中的像素的梯度信息确定稠密区域包括：用大津方法和梯度方法分别对所述第一重叠图像进行二值化得到两个二值化图像；对所得到的两个二值化图像进行或运算得到优化二值化图像；对所述优化二值化图像的每一行迭代计算像素的梯度改变次数；以及选定梯度改变次数最大的区域作为所述稠密区域。3.根据权利要求2所述的方法，其中，对所述优化二值化图像的每一行迭代计算像素的梯度改变次数包括：对于一行中的像素，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。4.根据权利要求1所述的方法，其中，所述第二重叠图像中的所述对应块被选取得比所述第一重叠图像中的块大。5.根据权利要求1所述的方法，其中，基于所述多个块的每个块中的每个像素的梯度值确定候选样本块包括:计算每个像素的梯度值；将其梯度值大于第一预定阈值的像素作为候选梯度点来统计每个块中的候选梯度点的数目；以及如果一个块中的候选梯度点的数目大于第二预定阈值且所述候选梯度点平均分布在该块中，则确定该块为候选样本块。6.根据权利要求1所述的方法，其中，针对每...

【专利技术属性】
技术研发人员：刘威，刘伟，范伟，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP