图像拼接方法及装置制造方法及图纸

本发明专利技术公开了一种图像拼接方法及装置，该方法包括：基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；从目标图像中选取基准图和待配准图；将基准图在最小特征尺寸下的在拼接侧的拼接特征，作为第一拼接特征；根据待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值，确定目标拼接特征；重复执行上述步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接

【技术实现步骤摘要】
图像拼接方法及装置


[0001]本专利技术涉及图像处理和人工智能
，尤其涉及图像拼接方法及装置
。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文
。
此处的描述不因为包括在本部分中就承认是现有技术
。
[0003]图像拼接技术是指将同一场景的多个重叠图像拼接成较大图像的一种方法，传统的图像拼接方法的一般范式由特征点提取
、
特征匹配
、
变换矩阵估计
、
图像变换
、
图像融合组成，不同的传统图像拼接方法也主要是在范式中不同阶段采用不同的方法
。
随着深度学习的兴起，基于深度学习的图像拼接也得到了快速发展，大部分基于深度学习的图像拼接方法与传统图像拼接方式类似，主要是通过深度神经网络提取特征，学习最优变换矩阵参数进行后续的图像变换和图像融合
。
[0004]然而很多实际的图像拼接场景存在近距离
、
大视差
、
多图像
、
大尺寸的问题，使用上述的拼接方法会存在很多问题，例如大尺寸图片拼接时，传统拼接方法无法提取特征
(
内存过大
)
；大视差图像拼接时，目前基于深度学习的拼接方法会存在大量重影，且拼接效果较差
。

技术实现思路

[0005]本专利技术实施例提供一种图像拼接方法，用以提升图像拼接的适用性，提升图像拼接特征提取的精度和速度，提升图像拼接的效率和准确性，该方法包括：
[0006]基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；
[0007]从目标图像中选取基准图和待配准图；
[0008]针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；
[0009]以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征
、
第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；
[0010]根据基准图在最大特征尺寸下的第一拼接特征
、
和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接
。
[0011]本专利技术实施例还提供一种图像拼接装置，用以提升图像拼接的适用性，提升图像
拼接特征提取的精度和速度，提升图像拼接的效率和准确性，该装置包括：
[0012]拼接特征提取模块，用于基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；
[0013]基准图和待配准图选取模块，用于从目标图像中选取基准图和待配准图；
[0014]目标拼接特征确定模块，用于针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；
[0015]目标拼接特征更新模块，用于以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征
、
第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；
[0016]拼接侧图像拼接模块，用于根据基准图在最大特征尺寸下的第一拼接特征
、
和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接
。
[0017]本专利技术实施例还提供一种计算机设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像拼接方法
。
[0018]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像拼接方法
。
[0019]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述图像拼接方法
。
[0020]本专利技术实施例中，基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；从目标图像中选取基准图和待配准图；针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征
、
第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；
根据基准图在最大特征尺寸下的第一拼接特征
、
和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接，与现有技术下的特征点提取方案相比较，通过采用深度学习神经网络模型来提取拼接特征，提升了拼接特征提取的精度
、
速度和鲁棒性；同时，依据对不同特征尺寸下的拼接特征的相似性度量，可快速确定出待配准图在最大特征尺寸下的目标拼接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像拼接方法，其特征在于，包括：基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；从目标图像中选取基准图和待配准图；针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征
、
第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；根据基准图在最大特征尺寸下的第一拼接特征
、
和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接
。2.
如权利要求1所述的方法，其特征在于，还包括：对目标图像进行图像填充处理和图像归一化处理，得到处理后目标图像；对目标图像进行拼接特征的提取，得到目标图像的拼接特征，包括：对所述处理后目标图像进行拼接特征的提取，得到处理后目标图像的拼接特征
。3.
如权利要求2所述的方法，其特征在于，对目标图像进行图像填充处理和图像归一化处理，得到处理后目标图像，包括：以图像的高和宽之间的最大值为图像填充后的图像尺寸，进行目标图像的图像填充处理；对图像填充处理后进行图像归一化处理，得到处理后目标图像
。4.
如权利要求1所述的方法，其特征在于，基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征，包括：将目标图像输入至图像拼接特征提取模型，得到目标图像的拼接特征；所述图像拼接特征提取模型与目标图像的拼接任务类型相对应；所述图像拼接特征提取模型以历史拼接图像数据集为训练数据，对深度学习神经网络进行训练得到；所述历史拼接图像数据集包括：对应该拼接任务类型的历史拼接图像
、
和对应所述历史拼接图像的拼接特征
。5.
如权利要求4所述的方法，其特征在于，所述图像拼接特征提取模型包括：用于提取图像在不同尺寸下的拼接特征的多个特征金字塔层
。6.
如权利要求4所述的方法，其特征在于，还包括：按如下方式确定多个特征金字塔层：以目标图像的图像宽高与预设比例的乘积作为目标尺寸，选取第一特征金字塔层；以所述目标尺寸的图像宽高与预设比例的乘积，对所述目标尺寸进行更新；以更新后的目标尺寸选取对应尺寸的特征金字塔层；重复执行上述对所述目标尺寸进行更新
、
以及以更新后的目标尺寸选取对应尺寸的特
征金字塔层的步骤，直到选取的特征金字塔层的尺寸小于预设数值
。7.
如权利要求1所述的方法，其特征在于，所述相似性度量值根据拼接特征间的欧式距离和余弦相似性计算得到；按如下公式计算该第一拼接特征与每一第二拼接特征之间的相似性度量值：按如下公式计算该第一拼接特征与每一第二拼接特征之间的相似性度量值：按如下公式计算该第一拼接特征与每一第二拼接特征之间的相似性度量值：其中，为第
i
个第二拼接特征；
y
a
为第一拼接特征；

【专利技术属性】
技术研发人员：丁坤，杨帅，李汪佩，黄盛，庄艺唐，
申请(专利权)人：上海汉时信息科技有限公司，
类型：发明
国别省市：