一种图像对齐方法及装置制造方法及图纸

本发明专利技术实施例提供了一种图像对齐方法及装置，涉及图像处理技术领域。该方法包括：获取包括目标图像中的像素点对应的特征点的目标特征和包括参考图像中的像素点对应的特征点的参考特征；根据目标特征和参考特征，获取相似度特征；相似度特征包括：目标特征中的各个特征点与对应的相关特征点的相似度；根据相似度特征、目标特征以及偏移量预测卷积层，获取目标特征和参考特征的偏移量；根据偏移量和可形变卷积层，将参考特征与目标特征对齐。本发明专利技术实施例用于解决现有技术中预测偏移量时缺乏初值，进而导致可形变卷积层的对齐结果会与对齐结果真值相差较大的问题。对齐结果真值相差较大的问题。对齐结果真值相差较大的问题。

【技术实现步骤摘要】
一种图像对齐方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种图像对齐方法及装置。

技术介绍

[0002]图像对齐是指：确定参考图像和目标图像之间的变化参数，并根据变化参数将目标图像变形为与参考图像同样的空间布局的过程。图像对齐广泛应用于视频修复、图像融合、图像拼接、目标识别等领域。例如：在视频修复时，通过将相邻的图像帧对齐，可以有效利用相邻图像帧之间的信息获取图像帧的更多细节信息，从而得到清晰且细节更加丰富的视频。
[0003]传统的图像对齐方法为：计算目标图像和参考图像之间的光流(Optical Flow)场，并将光流场作为目标图像与参考图像的稠密配准关系，最后通过反向网格形变(Back
‑
warping)的方式将目标图像对齐到参考图像。这种基于光流的图像对齐方式虽然也可以实现图像对齐，但计算光流场时的计算量非常大，因此效率较低。为了改善图像对齐效率低的问题，现有技术中提出了一种基于特征的图像对齐方式，具体包括：获取参考图像的参考特征和目标图像的目标特征，然后根据参考特征和目标特征预测偏移量，再通过偏移量控制基于可形变卷积层将参考特征与目标特征对齐，获取最终的对齐结果。相比于基于光流的图像对齐方式，上述基于特征的图像对齐方式无需计算光流场，因此更为高效，且可以实现直接对图像特征的进行对齐，然而由于根据参考特征和目标特征预测偏移量时缺乏初值，因此在参考图像和目标图像的图像质量较差时，可形变卷积层的对齐结果会与对齐结果真值相差较大。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种图像对齐方法及装置，用于解决现有技术中预测偏移量时缺乏初值，进而导致可形变卷积层的对齐结果会与对齐结果真值相差较大的问题。
[0005]为了实现上述目的，本专利技术实施例提供技术方案如下：
[0006]第一方面，本专利技术的实施例提供了一种图像对齐方法，包括：
[0007]获取目标特征和参考特征；所述目标特征包括目标图像中的像素点对应的特征点，所述参考特征包括参考图像中的像素点对应的特征点；
[0008]根据所述目标特征和所述参考特征，获取相似度特征；所述相似度特征包括：所述目标特征中的各个特征点与对应的相关特征点的相似度，所述目标特征中的特征点对应的相关特征点包括：所述参考特征中像素坐标与所述目标特征中的特征点的像素坐标相同和相邻的特征点；
[0009]根据所述相似度特征、所述目标特征以及偏移量预测卷积层，获取所述目标特征和所述参考特征的偏移量；
[0010]根据所述偏移量和可形变卷积层，将所述参考图像与所述目标图像对齐。
[0011]作为本专利技术实施例一种可选的实施方式，所述目标特征中的第一特征点对应的相
关特征点包括：第二特征点以及所述第二特征点的第一预设值的邻域内的特征点；
[0012]其中，所述第二特征点为所述参考特征中像素坐标与所述第一特征点的像素坐标相同的特征点。
[0013]作为本专利技术实施例一种可选的实施方式，所述根据所述目标特征和所述参考特征，获取相似度特征，包括：
[0014]确定所述目标特征中的第三特征点对应的第一空间域，所述第一空间域为所述第三特征点和所述第三特征点的第二预设值的邻域内的特征点形成的空间域；
[0015]确定所述参考特征中的第四特征点对应的第二空间域，所述第二空间域为所述第四特征点和所述第四特征点的第二预设值的邻域内的特征点形成的空间域；所述第四特征点为所述第三特征对应的相关特征点；
[0016]计算各个特征组中的特征点的外积，获取各个特征组的外积；所述特征组包括属于所述第一空间域的特征点以及属于所述第二空间域的特征点，且所述属于所述第一空间域的特征点在所述第一空间域中的位置与所述属于所述第二空间域的特征点在所述第二空间域中的位置相同；
[0017]对各个特征组的外积求和，获取所述第三特征点与所述第四特征点的相似度。
[0018]作为本专利技术实施例一种可选的实施方式，所述目标特征为对所述目标图像中的像素点进行特征提取获取的特征，所述参考特征为对所述参考图像中的像素点进行特征提取获取的特征；
[0019]或者；
[0020]所述目标特征为对所述目标图像中的像素点进行特征提取并以预设降采样率对提取的提取进行降采样得到的特征；所述参考特征为对所述参考图像中的像素点进行特征提取并以所述预设降采样率对提取的提取进行降采样得到的特征。
[0021]作为本专利技术实施例一种可选的实施方式，所述根据所述相似度特征、所述目标特征以及偏移量预测卷积层，获取所述目标特征和所述参考特征的偏移量，包括：
[0022]将所述相似度特征与所述目标特征在通道的维度上串联，获取偏移量预测特征；
[0023]将所述偏移量预测特征输入所述偏移量预测卷积层；
[0024]获取所述偏移量预测卷积层的输出作为所述目标特征和所述参考特征的偏移量。
[0025]作为本专利技术实施例一种可选的实施方式，所述目标特征包括多个空间尺度的子目标特征，所述参考特征包括多个空间尺度的子参考特征，所述相似度特征多个空间尺度的子相似度特征；
[0026]所述据所述相似度特征、所述目标特征以及偏移量预测卷积层，获取所述目标特征和所述参考特征的偏移量，包括：
[0027]根据所述多个空间尺度的子相似度特征、所述多个空间尺度的子目标特征以及所述多个空间尺度的对应的偏移量预测卷积层，获取所述多个空间尺度的子目标特征和子参考特征的子偏移量。
[0028]作为本专利技术实施例一种可选的实施方式，所述根据所述偏移量和可形变卷积层，将所述参考图像与所述目标图像对齐，包括：
[0029]将所述参考特征输入所述可形变卷积层，并通过所述偏移量控制所述可形变卷积层的卷积核的形状；
[0030]获取所述可形变卷积层的输出作为所述参考特征与所述目标特征的对齐结果；
[0031]根据所述参考特征与所述目标特征的对齐结果，将所述参考图像与所述目标图像对齐。
[0032]作为本专利技术实施例一种可选的实施方式，所述目标特征包括多个空间尺度的子目标特征，所述参考特征包括多个空间尺度的子参考特征，所述偏移量包括多个空间尺度的子偏移量；
[0033]所述根据所述偏移量和可形变卷积层，将所述参考图像与所述目标图像对齐，包括：
[0034]根据所述多个空间尺度的子偏移量和所述多个空间尺度的对应的可形变卷积层，获取所述多个空间尺度的子目标特征和子参考特征的对齐结果；
[0035]根据所述多个空间尺度的子目标特征和子参考特征的对齐结果，将所述参考图像与所述目标图像对齐。
[0036]作为本专利技术实施例一种可选的实施方式，所述参考图像为待修复视频的第n个图像帧，所述参考图像为所述待修复视频的第n+1个图像帧；n为正整数。
[0037]第二方面，本专利技术实施例提供一种图像对齐装置，包括：
[0038]特征获取单元，用于获取目标特征和参考特征；所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像对齐方法，其特征在于，包括：获取目标特征和参考特征；所述目标特征包括所述目标图像中的像素点对应的特征点，所述参考特征包括参考图像中的像素点对应的特征点；根据所述目标特征和所述参考特征，获取相似度特征；所述相似度特征包括：所述目标特征中的各个特征点与对应的相关特征点的相似度，所述目标特征中的特征点对应的相关特征点包括：所述参考特征中像素坐标与所述目标特征中的特征点的像素坐标相同和相邻的特征点；根据所述相似度特征、所述目标特征以及偏移量预测卷积层，获取所述目标特征和所述参考特征的偏移量；根据所述偏移量和可形变卷积层，将所述参考图像与所述目标图像对齐。2.根据权利要求1所述的方法，其特征在于，所述目标特征中的第一特征点对应的相关特征点包括：第二特征点以及所述第二特征点的第一预设值的邻域内的特征点；其中，所述第二特征点为所述参考特征中像素坐标与所述第一特征点的像素坐标相同的特征点。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征和所述参考特征，获取相似度特征，包括：确定所述目标特征中的第三特征点对应的第一空间域，所述第一空间域为所述第三特征点和所述第三特征点的第二预设值的邻域内的特征点形成的空间域；确定所述参考特征中的第四特征点对应的第二空间域，所述第二空间域为所述第四特征点和所述第四特征点的所述第二预设值的邻域内的特征点形成的空间域；所述第四特征点为所述第三特征对应的相关特征点；计算各个特征组中的特征点的外积，获取各个特征组的外积；所述特征组包括属于所述第一空间域的特征点以及属于所述第二空间域的特征点，且所述属于所述第一空间域的特征点在所述第一空间域中的位置与所述属于所述第二空间域的特征点在所述第二空间域中的位置相同；对各个特征组的外积求和，获取所述第三特征点与所述第四特征点的相似度。4.根据权利要求1所述的方法，其特征在于，所述目标特征为对所述目标图像中的像素点进行特征提取获取的特征，所述参考特征为对所述参考图像中的像素点进行特征提取获取的特征；或者；所述目标特征为对所述目标图像中的像素点进行特征提取并以预设降采样率对提取的提取进行降采样得到的特征；所述参考特征为对所述参考图像中的像素点进行特征提取并以所述预设降采样率对提取的提取进行降采样得到的特征。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述根据所述相似度特征、所述目标特征以及偏移量预测卷积层，获取所述目标特征和所述参考特征的偏移量，包括：将所述相似度特征与所述目标特征在通道的维度上串联，获取偏移量预测特征；将所述偏移量预测特征输入所述偏移量预测卷积层；获取所述偏移量预测卷积层的输出作为所述目标特征和所述参考特征的偏移量。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述目标特征包括多个空间尺度
的子目标特征，所述参考特征包括多个空间尺度的子参考特征，所述相似度特征多个空间尺度的子相似度特征；所述据所述相似度特征、所述目标特...

【专利技术属性】
技术研发人员：董航，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：