一种基于深度学习的目标匹配和定位方法及系统、计算机技术方案

本发明专利技术属于数据识别技术领域，公开了一种基于深度学习的目标匹配和定位方法及计算系统；在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；对卫星图像与保存下来的目标图像进行预处理操作；将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；对卫星图像与保存下来的目标图像进行预处理操作；使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像；将卫星图像中与目标最相似的区域用边界框标记出来。本发明专利技术在实时的条件下运行目标匹配算法，具有较高的实用性。通过一次模型的前向传播得到最终的结果，在复杂场景下能取得比模板匹配算法更好的结果。

A Method of Object Matching and Location Based on Deep Learning and Its System and Computer

【技术实现步骤摘要】
一种基于深度学习的目标匹配和定位方法及系统、计算机
本专利技术属于数据识别
，尤其涉及一种基于深度学习的目标匹配和定位方法及计算系统。
技术介绍
目前，业内常用的现有技术是这样的：现代战争是以信息技术为先导的高科技战争，夺取信息优势是掌握战争主动权的关键。信息时代陆海空三军联合作战的重要特点是将“集中兵力”转变为“集中火力”，对导弹武器技术提出了更高的需求。智能化精确打击导弹武器系统应具备目标检测和识别率高、无盲区识别、大动态范围工作、抗干扰能力强的能力。图像的智能目标匹配与精确定位是决定导弹武器系统作战效能的核心技术之一，也是长期制约导弹武器系统信息化发展的瓶颈问题。现有导弹型号主要采用基于模板的目标匹配和定位的方法，其理论框架简单，运算速度快，能够满足一般的应用要求。但是模板匹配方法对于目标视角与视场变化、复杂背景以及干扰的鲁棒性较差，难以达到对导弹武器智能化和精确化的实战要求。模板匹配是指给定一张待检测图像和一张模板图像，在待检测图像中寻找并定位出模板图像的过程。具体实现方法通常是使用和模板图像大小相同的检测窗口在待检测图像中逐像素地滑动，得到检测窗口所覆盖的一系列子图像。对于每个子图像都利用某种评估方法来评价该子图像与模板图像的相似程度，选取出与模板图像相似程度最高的子图像，该子图像的坐标就是找到的目标的位置。如何选取计算相似程度的方法，直接关系着模板匹配算法的结果好坏。传统模板匹配的方法主要可分为两类：(1)基于灰度的模板匹配方法(2)基于图像特征的模板匹配方法。基于灰度的模板匹配方法是利用模板图像和检测窗口之间的灰度关系来表示它们的相似度，与模板图像相似度最高的检测窗口坐标即为最终的匹配结果。基于灰度的模板匹配通常有如下方法：(1)平方差匹配(2)归一化平方差匹配(3)相关匹配(4)归一化相关匹配(5)相关系数匹配(6)归一化相关系数匹配。上述六种方法理论上可以获得越来越精确的匹配结果，但是需要付出计算成本增加的代价，选取越复杂的方法会导致计算速度降低得越多。上述方法在灰度值发生变化(旋转、遮挡、噪声)的情况下，匹配结果往往会十分糟糕。基于图像特征的模板匹配方法首先是分别对检测窗口所选取的子图像与模板图像提取图像特征，然后再计算提取到的特征的相似度，计算特征相似度的方法常采用余弦距离、欧式距离等方法。但该方法要对大量的图像进行特征提取，计算量十分庞大，而且提取的特征好坏直接决定着该算法的速度与准确率，如何对不同的数据选取合适的图像特征是该方法需要仔细权衡的问题。综上所述，现有技术存在的问题是：现有技术直接对模板图像与检测窗口所得到的图像中对应位置的灰度值进行操作。容易想到，如果对应位置灰度值因为某些原因发生很大的改变，例如光照变化等，平方差匹配，相关匹配等传统方法的计算结果会产生巨大波动，导致算法不能正常工作，匹配结果将受到很大的影响；通过增加检测窗口的方法使得灰度模板匹配方法准确率有所上升，对应的会增加计算成本；基于图像特征的模板匹配方法在很大程度上依赖于选择的图像特征的好坏，图像特征的性质也将直接影响匹配算法结果，且耗时较多，无法达到实时匹配。解决上述技术问题的难度和意义：本专利技术通过深度学习技术，将同时解决基于灰度的模板匹配方法对图像变化鲁棒性较差，基于图像特征的模板匹配方法选取特征难，提取特征慢的问题，提出一种通用的，实时的，鲁棒性较好的目标匹配方法。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于深度学习的目标匹配和定位方法及计算系统。本专利技术是这样实现的，一种基于深度学习的目标匹配和定位方法，所述基于深度学习的目标匹配和定位方法包括以下步骤：步骤一，在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；对卫星图像与保存下来的目标图像进行预处理操作；将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；步骤二，对卫星图像与保存下来的目标图像进行预处理操作；使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像；将卫星图像中与目标最相似的区域用边界框标记出来。进一步，所述基于深度学习的目标匹配和定位方法具体包括以下步骤：步骤一、训练阶段：(1)在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；(2)对卫星图像与保存下来的目标图像进行预处理操作；(3)将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；步骤二、推理阶段：(1)对卫星图像与保存下来的目标图像进行预处理操作；(2)使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像：将预处理完成的卫星图像与目标图像输入模型；(3)将卫星图像中与目标最相似的区域用边界框标记出来。进一步，所述步骤一中的对卫星图像与保存下来的目标图像进行预处理操作的具体步骤如下：(1)对输入卫星图像与目标图像做灰度化处理；(2)在训练前对目标图像进行随机旋转操作，旋转角度d∈{0，10，20，…，350}，旋转之后使用0像素填充空白，操作会使得模型最终可以学习到旋转不变性；(3)在训练前从卫星图像上截取长宽分别为目标图像长宽的三倍的区域，使用该区域作为新的卫星图像；(4)将卫星图像缩放为128×128大小，目标图像缩放为64×64大小；(5)最后将预处理过的卫星图像与目标图像送进模型进行训练。进一步，所述步骤一中的同时将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练的具体步骤如下：(1)定义k个尺度不同的基础边界框(wi，hi)，i∈(1，2，...，k)，最终模型会在这k个边界框上进行坐标回归与预测，取k＝5，定义如下5个基础边界框k1：(26.68，36.81)，k2：(29，69)，k3：(26.15，29.34)，k4：(26，93)，k5：(38.89，30.2)；k个边界框是通过K-means算法对数据集中标记边界框聚类得到，使用如下公式计算数据集中每个标记边界框与定义的标准边界框的距离：d(box，center)＝1-IOU(box，center)；其中，IOU代表两个边界框的重叠率，box代表数据集中每个标记边界框，center代表聚类中心，定义好的标准边界框；(2)使用同一个特征提取网络对预处理之后的卫星图像与目标图像进行特征提取；(3)将卫星图像的特征经过一层卷积操作得到输出为c通道的特征图，在取c＝128；(4)将目标图像的特征经过一层卷积操作得到输出为(5×k+1)×c通道的特征图，在该实施例中即生成3328通道的特征图；(5)将得到的目标图像的特征与卫星图像的特征做分组互相关操作，得到位置信息图，该位置信息图通道数为5×k+1；(6)通过上述得到的位置信息图进行坐标的回归与预测，具体步骤如下：1)将5×k+1(26)个通道的位置信息图中第一个通道作为相似度图S，即代表每个不同的位置与目标图像的相似程度；2)通过已经标记好的边界框得到与相似度图S相同大小的矩阵G，通过下面的式子计算出标记边界框中心点在矩阵G上的位置：其中w，h表示矩阵G的长和宽，gx，gy表示标记边界框中心点在卫星图像上的坐标，floor()表示向下取整函数。则Gab＝-1(a≠x，b≠y)，Gab＝1(a＝x，b＝y)；3)将本文档来自技高网...

【技术保护点】
1.一种基于深度学习的目标匹配和定位方法，其特征在于，所述基于深度学习的目标匹配和定位方法包括以下步骤：(1)在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；对卫星图像与保存下来的目标图像进行预处理操作；将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；(2)对卫星图像与保存下来的目标图像进行预处理操作；使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像；将卫星图像中与目标最相似的区域用边界框标记出来。

【技术特征摘要】
1.一种基于深度学习的目标匹配和定位方法，其特征在于，所述基于深度学习的目标匹配和定位方法包括以下步骤：(1)在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；对卫星图像与保存下来的目标图像进行预处理操作；将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；(2)对卫星图像与保存下来的目标图像进行预处理操作；使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像；将卫星图像中与目标最相似的区域用边界框标记出来。2.如权利要求1所述的基于深度学习的目标匹配和定位方法，其特征在于，所述基于深度学习的目标匹配和定位方法具体包括以下步骤：(1)训练阶段：1)在带有边界框标记的卫星图像数据库上，将标记的区域从原始卫星图像中截取并保存作为目标图像；2)对卫星图像与保存下来的目标图像进行预处理操作；3)将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练；(2)推理阶段：1)对卫星图像与保存下来的目标图像进行预处理操作；2)使用目标匹配与定位模型同时接收输入的经过预处理的卫星图像与目标图像：将预处理完成的卫星图像与目标图像输入模型；3)将卫星图像中与目标最相似的区域用边界框标记出来。3.如权利要求2所述的基于深度学习的目标匹配和定位方法，其特征在于，所述步骤一中的对卫星图像与保存下来的目标图像进行预处理操作的具体步骤如下：(1)对输入卫星图像与目标图像做灰度化处理；(2)在训练前对目标图像进行随机旋转操作，旋转角度d∈{0，10，20，…，350}，旋转之后使用0像素填充空白，操作会使得模型最终可以学习到旋转不变性；(3)在训练前从卫星图像上截取长宽分别为目标图像长宽的三倍的区域，使用该区域作为新的卫星图像；(4)将卫星图像缩放为128×128大小，目标图像缩放为64×64大小；(5)最后将预处理过的卫星图像与目标图像送进模型进行训练。4.如权利要求2所述的基于深度学习的目标匹配和定位方法，其特征在于，所述步骤一中的同时将卫星图像与目标图像作为输入，对目标匹配与定位模型进行训练的具体步骤如下：(1)定义k个尺度不同的基础边界框(wi，hi)，i∈(1，2，...，k)，最终模型会在这k个边界框上进行坐标回归与预测，取k＝5，定义如下5个基础边界框k1：(26.68，36.81)，k2：(29，69)，k3：(26.15，29.34)，k4：(26，93)，k5：(38.89，30.2)；k个边界框是通过K-means算法对数据集中标记边界框聚类得到，使用如下公式计算数据集中每个标记边界框与定义的标准边界框的距离：d(box，center)＝1-IOU(box，center)；其中，IOU代表两个边界框的重叠率，box代表数据集中每个标记边界框，center代表聚类中心，定义好的标准边界框；(2)使用同一个特征提取网络对预处理之后的卫星图像与目标图像进行特征提取；(3)将卫星图像的特征经过一层卷积操作得到输出为c通道的特征图，在取c＝128；(4)将目标图像的特征经过一层卷积操作得到输出为(5×k+1)×c通道的特征图，在该实施例中即生成3328通道的特征图；(5)将得到的目标图像的特征与卫星图像的特征做分组互相关操作，得到位置信息图，该位置信息图通道数为5×k+1；(6)通过上述得到的位置信息图进行坐标的回归与预测，具体步骤如下：1)将5×k+1(26)个通道的位置信息图中第一个通道作为相似度图S，即代表每个不同的位置与目标图像的相似程度；2)通过已经标记好的边界框得到与相似度图S相同大小的矩阵G，通过下面的式子计算出标记边界框中心点在矩阵G上的位置：其中w，h表示矩阵G的长和宽，gx，gy表示标记边界框中心点在卫星图像上的坐标，floor()表示向下取整函数；则Gab＝-1(a≠x，b≠y)，Gab＝1(a＝x，b＝y)；3)将如下公式作为相似度的损失函数：losss＝max(1-xy)2；其中，x表示相似度图S中的值，y表示由标记边界框生成的矩阵G中的值，将losss中对应G的值为-1的位置除以G的大小w·h，w，h表示矩阵G的长和宽；4)位置信息图中剩下的5×k(25)个通道代表k(5)个标准边界框的坐标偏置B与重叠率C，其中每个标准边界框重叠率占据1个通道，即C将有k(5)个通道，代表该位置回归的边界框与标记边界框的重叠率，也可以理解为每个回归边界框的置信度；每个标准边界框的坐标偏置B占据4个通道，即B将有4×k(20)个通道，表示该标准边界框的坐标信息：代表中心点相对标准边界框左上角在x轴上的偏移tx，代表中心点相对标准边界框左上角在y轴上的偏移ty，代表标记边界框宽度相对标准边界框宽度的倍数tw，代表标记边界框高度相对标准边界框高度的倍数th；得到需要的值：bc＝σ(tc)；bx＝σ(tx)+cx；by＝σ(t...

【专利技术属性】
技术研发人员：梁继民，唐易平，牛闯，任胜寒，刘彬，胡海虹，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61