图像对齐方法、图像对齐装置及终端设备制造方法及图纸

本申请提供的一种图像对齐方法，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；针对第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的第一候选匹配点之间的互相关信息符合预设互相关条件；根据查找到的第一目标像素点确定第一模态图像与第二模态图像之间的匹配点对；根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在第二模态图像中所对应的第二网格区域之间的网格变换矩阵；根据各个网格变换矩阵，将第二模态图像变换为相对于第一模态图像对齐的目标图像。目标图像。目标图像。

【技术实现步骤摘要】
图像对齐方法、图像对齐装置及终端设备


[0001]本申请属于图像处理
，尤其涉及图像对齐方法、图像对齐装置、终端设备及计算机可读存储介质。

技术介绍

[0002]图像对齐技术是图像处理中非常重要且基础的技术，其可运用到很多图像处理的任务中。
[0003]例如，诸如手机、AR眼镜、虚拟现实设备等终端上常常会集成有多个摄像头，并且不同摄像头所采用的的成像原理也可能不同，比如，终端上可能有红外摄像头和RGB成像摄像头。而不同成像原理的摄像头所采集得到的图像可以认为是不同模态的图像。此时，需要将不同模态的图像进行图像对齐来实现拼接融合。此外，在医学图像领域、遥感图像领域等应用领域，也要通过图像对齐技术来实现诸如电子计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)等不同模态的图像之间的拼接和融合。
[0004]目前，传统的图像对齐方法中，是通过尺度不变特征变换(Scale-invariant feature transform，SIFT)等算法来实现图像特征点检测和匹配，从而根据匹配的图像特征点来实现不同图像之间的对齐操作。
[0005]然而，基于SIFT的特征点检测在很大程度上依赖图像中结构相似区域在梯度方向上的一致性，而不同模态的图像在结构相似区域的梯度方向上，可能存在较大差异，导致无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态图像之间的图像对齐精度较差。

技术实现思路

[0006]本申请实施例提供了图像对齐方法、图像对齐装置、终端设备及计算机可读存储介质，可以解决现有的方法无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
[0007]第一方面，本申请实施例提供了一种图像对齐方法，包括：
[0008]针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；
[0009]针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
[0010]若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
[0011]根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态
图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
[0012]根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
[0013]第二方面，本申请实施例提供了一种图像对齐装置，包括：
[0014]确定模块，用于针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；
[0015]查找模块，用于针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；
[0016]第一处理模块，用于若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；
[0017]第二处理模块，用于根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；
[0018]变换模块，用于根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。
[0019]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如第一方面上述的图像对齐方法。
[0020]第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的图像对齐方法。
[0021]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的图像对齐方法。
[0022]本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；然后，针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件。此时，可以通过互相关信息来度量像素点之间的相似性，从而查找与所述第一候选匹配点所对应的第一目标像素点。
[0023]若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；此时，可以针对每一个第一网格区域，通过像素点之间的互相关信息获取到该第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的匹配点对，从而根据所述匹配点对，获得所述第一
网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，然后，可以根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像，从而实现了不同模态的图像之间的图像对齐。其中，由于所述图像对齐所需的匹配点对是基于像素点之间的互相关信息确定得到，能够减小不同模态的图像在结构相似区域的梯度方向上的差异所带来的干扰，因此，匹配点对的准确性较高，相应地也保证了最终得到的目标图像的对齐精度，避免了现有的基于SIFT等方法的特征点检测和匹配无法在不同模态的图像之间找到准确的匹配点对，从而使得不同模态的图像之间的图像对齐精度较差的问题。
附图说明
[0024]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本申请一实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像对齐方法，其特征在于，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点；针对所述第一网格区域中的每一个第一候选匹配点，从第二模态图像中查找所述第一候选匹配点所对应的第一目标像素点，其中，所述第一目标像素点与对应的所述第一候选匹配点之间的互相关信息符合预设互相关条件；若从所述第二模态图像中查找到所述第一候选匹配点所对应的第一目标像素点，则将所述第一候选匹配点和所述第一候选匹配点所对应的第一目标像素点作为所述第一模态图像与所述第二模态图像之间的一组匹配点对；根据所述匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵，其中，所述第一网格区域在所述第一模态图像中的位置与所述第一网格区域所对应的第二网格区域在所述第二模态图像中的位置相同；根据各个网格变换矩阵，将所述第二模态图像变换为相对于所述第一模态图像对齐的目标图像。2.如权利要求1所述的图像对齐方法，其特征在于，所述针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域的像素点梯度信息，确定所述第一网格区域中的至少两个第一候选匹配点。3.如权利要求2所述的图像对齐方法，其特征在于，所述针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域的像素点梯度信息，确定所述第一网格区域中的至少两个第一候选匹配点，包括：针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差；根据所述对齐误差，确定所述第一网格区域中的第一候选匹配点的个数；根据所述第一候选匹配点的个数，确定所述第一网格区域中的第一候选匹配点。4.如权利要求3所述的图像对齐方法，其特征在于，所述针对第一模态图像中预先划分得到的每一个第一网格区域，根据所述第一网格区域中每个第一像素点的第一梯度值，以及所述第一网格区域所对应的第二网格区域中每个第二像素点的第二梯度值，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差，包括：针对所述第一网格区域中的每一个第一像素点，将所述第一像素点的第一梯度值与所述第一像素点所对应的第二像素点的第二梯度值之间的差值的绝对值作为第一绝对值，其中，所述第一像素点在所述第一模态图像中的位置与所述第一像素点所对应的第二像素点在所述第二模态图像中的位置相同；将所述第一网格区域中的各个第一梯度值的绝对值的和作为第一求和结果，并将所述第一网格区域所对应的第二网格区域中的各个第二梯度值的绝对值的和作为第二求和结果；
根据所述第一网格区域中的各个第一绝对值、所述第一求和结果和所述第二求和结果，确定所述第一网格区域与所述第一网格区域所对应的第二网格区域之间的对齐误差。5.如权利要求1所述的图像对齐方法，其特征在于，在针对第一模态图像中预先划分得到的每一个第一网格区域，确定所述第一网格区域中的至少两个第一候选匹配点之前，还包括：获取通过第一摄像头拍摄得到的第一原始图像和通过第二摄像头拍摄得到的第二原始图像；根据预先标定的第一摄像头的第一摄像头参数和第二摄像头的第二摄像头参数，分别对所述第一原始图像和第二原始图像进行校正；将校正后的第一原始图像作为所述第一模态图像，并将校正后的第二原始图像作为第二模态图像，其中，所述第一模态图像和所述第二模态图像共面行对准。6.如权利要求1所述的图像对齐方法，其特征在于，在根据各组匹配点对，获得所述第一网格区域与所述第一网格区域在所述第二模态图像中所对应的第二网格区域之间的网格变换矩阵之前，还包括：针对所述第二模态图像中预先划分得到的每一个第二网格区域，根据所述第二网格区域的梯度信息，确定所述第二网格区域中的至少两个第二候选匹配点；针对所述第二网格区域中的每一...

【专利技术属性】
技术研发人员：林枝叶，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：