一种基于孪生网络的端到端图像模板匹配方法组成比例

本发明专利技术属于图像处理技术领域，具体涉及一种基于孪生网络的端到端图像模板匹配方法，该方法将模板匹配任务作为一个分类回归问题进行处理，能够更好的解决模板与参考图像之间存在的尺度差异问题，有效提高复杂情况下模板匹配的鲁棒性。具有以下有益效果：1.将模板匹配任务作为一个分类回归任务进行处理，能够更好的解决尺度差异问题，有效提高复杂情况下模板匹配的鲁棒性；2.将深度互相关操作与通道注意力机制相结合，提出了一种用于特征融合的新的互相关操作，能够有效提高模板定位的精度；3.在损失函数的设计中，使用DIoU代替常用的IoU来构建回归损失，能够使得训练过程的稳定，加快收敛，同时进一步提高模板匹配的性能。同时进一步提高模板匹配的性能。同时进一步提高模板匹配的性能。

【技术实现步骤摘要】
一种基于孪生网络的端到端图像模板匹配方法


[0001]本专利技术属于图像处理
，具体涉及一种基于孪生网络(Siamese Network)的端到端图像模板匹配方法。

技术介绍

[0002]模板匹配是通过相似性度量在参考图像中定位出给定的模板图像，是图像处理和计算机视觉中的一项基础技术，广泛用于目标识别、医学图像处理和遥感等领域。由于拍摄时间、角度以及成像设备的不同，模板图与参考图像之间往往存在灰度差异(甚至异源)、尺度差异、旋转差异和视角差异，这些差异给模板匹配任务带来极大挑战。传统的模板匹配方法所使用的相似性度量方法包括SAD(Sum of Absolute Differences)、SSD(Sum of Squared Differences)、NCC(Normalized Cross
‑
Correlation)和MI(Mutual Information)等，由于相似性计算的图像灰度值属于初级特征，使得这些方法只能处理一些比较简单的情况(比如模板和参考图像之间只存在平移变换)的模板匹配，当面对非刚性变换、遮挡、模糊本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生网络的端到端图像模板匹配方法，其特征在于，该方法包括以下步骤：S1设计模板匹配网络所述模板匹配网络由特征提取网络、特征融合网络和模板定位网络依次级联构成，该网络以模板
‑
参考图像对为输入，输出为预测的分类图和回归图；具体步骤如下：S1.1构建特征提取网络，提取输入模板和参考图像的特征图所述特征提取网络由两个参数共享、结构相同的卷积神经网络级联构成，分别以模板T和参考图像S作为输入，输出为对应的特征图和所述卷积神经网络是在标准ResNet50的基础上修改得到，所做的具体修改如下：(1)标准的ResNet50由五个卷积组与全连接层构成，移除最后一个卷积组和全连接层；(2)移除第四个卷积组的下采样操作并通过空洞卷积保证相应的感受野不变；(3)在第四个卷积组后添加一个卷积层，将对应层的输出特征图的通道数减少到256；S1.2构建特征融合网络，对S1.1提取到的模板和参考图像的特征图进行信息融合所述特征融合网络由深度互相关模块和通道注意力模块级联构成，以S1.1中提取到的模板和参考图像的特征图作为输入，输出为二者融合之后的特征图；所述深度互相关模块以模板特征图作为卷积核，与参考图像特征图进行深度可分离卷积，得到初步的融合结果；所述通道注意力模块用于在初步融合结果的基础上，提高对高响应通道的关注，得到最终的融合结果；S1.3构建模板定位网络，在特征融合基础上预测模板在参考图像中的位置信息所述模板定位网络由分类和回归两个支路并联构成，均以S1.2中融合后的特征图作为输入，其长和宽分别为w和h；所述分类支路由三个3x3卷积层构成，最终输出通道数为1的分类图表示每个位置的前景概率，用于对模板在参考图像中进行粗略定位；所述回归支路由三个3x3卷积层构成，最终输出通道数为4的回归图表示每个位置对应的边界框预测结果，用于在粗略定位的基础上对模板进行精确定位；所述分类图和回归图上的任一位置(x,y)能够被映射回参考图像上，其在参考图像上的对应位置为其中s表示特征提取网络的总步长，表示向下取整操作；S2训练模板匹配网络S2.1构建训练数据集所述模板匹配网络在训练时使用固定尺寸的模板
‑
参考图像对作为训练样本；所述训练样本的标签为模板在参考图像中的位置信息，模板在参考图像中的位置用矩形边界框表征，位置信...

【专利技术属性】
技术研发人员：郑永斌，任强，徐婉莹，孙鹏，白圣建，朱笛，杨东旭，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：