一种基于伪孪生网络与深度特征的目标识别匹配定位方法技术

本发明专利技术提供了一种基于伪孪生网络与深度特征的目标识别匹配定位方法，具体包括以下步骤：基于伪孪生网络模型进行目标识别与图像匹配定位一体化设计，获取目标图像并基于SSD算法对目标进行识别，基于深度特征匹配方法进行目标匹配定位，基于网格运动统计模型优化匹配结果。本发明专利技术采用伪孪生网络结构，通过目标识别算法选取参考图与实时图的适配区，利用深度特征与GMS算法相结合的匹配策略，完成目标识别与匹配定位任务。本发明专利技术与其他的匹配算法相比，鲁棒性更强、匹配精度更高，在保证实时性的前提下，提高了网络的泛化能力，实现了目标识别与匹配定位算法的一体化设计，减少了运算量，在光照、尺度和成像角度发生较大变化时，表现更加优异。现更加优异。现更加优异。

【技术实现步骤摘要】
一种基于伪孪生网络与深度特征的目标识别匹配定位方法


[0001]本专利技术属于飞行器视觉定位方法应用
，具体涉及一种基于伪孪生网络与深度特征的目标识别匹配定位方法。

技术介绍

[0002]近年来，随着人工智能、机器人等前沿技术的快速发展，无人系统智能化成为人工智能领域的一个热点研究话题。新一代智能无人系统的关键技术是以算法和数据为基础，注重提高感知、计算、认知推理和作战执行能力，从而形成一个开放、兼容、稳定、成熟的技术体系，算法作为人工智能技术的核心，为无人系统的各种行动提供基础。当前导弹、无人机等各类飞行器在执行任务过程中，需要导航系统不断的确定自身的位置来调整运行状态，因此对无人机导航系统开展进一步研究变得十分重要。
[0003]目前无人机常用的导航方式有：全球卫星导航、惯性导航和视觉导航。传统的卫星导航定位方式依赖外部卫星信号，因而易受环境和敌方干扰而无法提供准确的定位信息。惯性导航系统会随着工作时间的延长而产生较为明显的数据漂移。视觉导航是一种自主导航技术，它利用图像处理、计算机视觉等技术获取无人机的运动信息和空间信息。视觉导航定位技术可以分为两种：一种是利用无人机航拍图像序列进行匹配得到位姿变换关系，成熟的技术包括SLAM和视觉里程计VO；另一种是利用坐标信息已知的参考图像，通过图像匹配技术完成定位。SLAM技术广泛应用于各种室内定位场景，但在开阔的室外环境下效果较差。VO技术随着时间的推移定位结果也会产生较大的偏差。参考图像进行图像匹配的定位方法是一种实现无人机导航的绝对定位技术，可以为长航时飞行无人机提供精确的定位保障。无人机在执行图像匹配导航任务过程中所采集的航拍图像和参考图一般具有清晰度高、数据量大、高现势性等特点，在处理参考图与航拍图时需要消耗大量的时间与计算内存。而在实际任务中所关注的通常是目标所在的部分区域，而不需要对整张图像进行匹配运算处理。因此开展对无人机目标识别匹配一体化定位算法的开发是一项具有相当高难度的任务。
[0004]基于此，提出了提出了一种将SSD算法与深度特征匹配算法相结合的目标识别匹配一体化定位方法，即一种基于伪孪生网络与深度特征的目标识别匹配定位方法。

技术实现思路

[0005]本专利技术所要解决的技术问题在于针对上述现有技术的不足，即无人机在执行任务时首先要解决的问题是确定自身在工作环境中的准确位置。常用的图像匹配方法来确定目标位置，不仅要考虑由无人机的振动、姿态变化、视距过大与光照等原因造成的匹配失败，而且还要充分考虑到目标分辨率低、对比度低、变形、扭曲、变焦、缺少纹理等显著缺陷。如果使用深度学习方法进行目标识别，又没有充分利用到参考图所提供的目标特征信息，导致待检测目标的特征信息必须存储与目标识别算法中，使得网络结构和运算量极大，无法满足实时性要求。基于以上考虑，在综合考察现有算法特点的基础上，提供一种基于伪孪生
网络与深度特征的目标识别匹配定位方法，以解决上述
技术介绍
中提出的问题。
[0006]为解决上述技术问题，本专利技术采用的技术方案是：一种基于伪孪生网络与深度特征的目标识别匹配定位方法，包括以下步骤：
[0007]S1、基于伪孪生网络模型进行目标识别与图像匹配定位一体化设计；
[0008]S2、获取目标图像并基于SSD算法对目标进行识别；
[0009]S3、基于深度特征匹配方法进行目标匹配定位；
[0010]S4、基于网格运动统计模型优化匹配结果。
[0011]进一步的，在S1中，具体是基于伪孪生网络思想，将SSD目标识别算法与深度特征匹配算法相融合提出的一种目标识别与图像匹配一体化网络结构。
[0012]进一步的，在S2中，目标识别是通过图像处理技术和算法，提取出带有待检测目标的检测框或分割出一个至多个图像区域，对场景中的对象进行定位并判断是否为目标的过程；
[0013]SSD目标识别算法使用的是一个单深层神经网络，可对不同分辨率的多个目标进行识别，并且能够在每个目标的位置生成具有不同的宽高比和尺寸的候选框，SSD网络主体设计的思想是特征分层提取，并依次进行边框回归和分类；
[0014]具体采用的SSD目标识别算法以VGG19网络模型作为主干网络，SSD模型输入固定尺寸的图像，将不同层级的特征图进行综合，对预先默认的边界框计算其类别及置信度，最终通过非极大值抑制获得目标检测结果；
[0015]为实现对目标的有效检测，该网络模型的损失函数采用位置误差Loc与类别置信度误差Conf的加权和为：
[0016][0017]其中：N为先验框的正样本数量；
[0018]x为指示函数，表示默认边界框与真实边界框是否匹配；
[0019]c为类别置信度预测值；
[0020]α为权重系数；
[0021]l为预测边界框；
[0022]g为真实边界框；
[0023]定位损失函数L
loc
采用光滑的L1函数来计算l和g之间的损失，置信度损失函数L
conf
通过softmax计算，定位损失L
loc
和置信度损失L
conf
的具体定义为：
[0024][0025][0026]式中：
和包含了目标的位置信息，
[0027]m表示特征图数目；
[0028]表示m类别中第i个预测框；
[0029]表示m类别中第j个预测框；
[0030]表示第i个预测框与第j个真实框关于第k个类别是否匹配，匹配为1，反之为0；
[0031]Pos，loc，Neg分别表示正样本集合、负样本集合和边界框坐标位置集合。
[0032]进一步的，在S3中，深度特征匹配是一种利用深度神经网络提取的特征来寻找两幅图像之间点对应关系的方法，直接计算两幅图像之间的对应关系，采用SSD目标识别算法所预先训练好的VGG网络来提取特征，在利用VGG
‑
19网络作为特征提取时，通过conv5_3，conv5_2、relu4_2、conv3_2、conv2_2、conv1_2网络层进行特征提取，利用神经网络最深层的平移不变性、尺度不变性与亮度不变性的特点，在语义层面上找到图像之间的匹配；
[0033]具体是对于给定图像A与B，首先利用预先训练好的VGG
‑
19网络对这两幅图像进行深层特征提取，得到特征块F
A
与F
B
，采用密集最邻搜索算法搜索F
B
以找到F
A
每个元素的最佳匹配位置；
[0034]密集最近邻搜索算法是指在密集特征地图中采用相互最近邻搜索和比率测试来进行搜索匹配，设定L2距离为最近邻匹配距离，对于特征映射F
A
中的点P
A
，如果L2距离与最佳匹配的P
B
和次最佳匹配的P
B
‑
1比率低于给定阈值τ，则点P
A
与P
B
匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于伪孪生网络与深度特征的目标识别匹配定位方法，其特征在于，包括以下步骤：S1、基于伪孪生网络模型进行目标识别与图像匹配定位一体化设计；S2、获取目标图像并基于SSD算法对目标进行识别；S3、基于深度特征匹配方法进行目标匹配定位；S4、基于网格运动统计模型优化匹配结果。2.根据权利要求1所述的一种基于伪孪生网络与深度特征的目标识别匹配定位方法，其特征在于，在S1中，具体是基于伪孪生网络思想，将SSD目标识别算法与深度特征匹配算法相融合提出的一种目标识别与图像匹配一体化网络结构。3.根据权利要求2所述的一种基于伪孪生网络与深度特征的目标识别匹配定位方法，其特征在于，在S2中，目标识别是通过图像处理技术和算法，提取出带有待检测目标的检测框或分割出一个至多个图像区域，对场景中的对象进行定位并判断是否为目标的过程；SSD目标识别算法使用的是一个单深层神经网络，可对不同分辨率的多个目标进行识别，并且能够在每个目标的位置生成具有不同的宽高比和尺寸的候选框，SSD网络主体设计的思想是特征分层提取，并依次进行边框回归和分类；具体采用的SSD目标识别算法以VGG19网络模型作为主干网络，SSD模型输入固定尺寸的图像，将不同层级的特征图进行综合，对预先默认的边界框计算其类别及置信度，最终通过非极大值抑制获得目标检测结果；为实现对目标的有效检测，该网络模型的损失函数采用位置误差Loc与类别置信度误差Conf的加权和为：其中：N为先验框的正样本数量；x为指示函数，表示默认边界框与真实边界框是否匹配；c为类别置信度预测值；α为权重系数；l为预测边界框；g为真实边界框；定位损失函数L
loc
采用光滑的L1函数来计算l和g之间的损失，置信度损失函数L
conf
通过softmax计算，定位损失L
loc
和置信度损失L
conf
的具体定义为：的具体定义为：式中：
和包含了目标的位置信息，m表示特征图数目；表示m类别中第i个预测框；表示m类别中第j个预测框；表示第i个预测框与第j个真实框关于第k个类别是否匹配，匹配为1，反之为0；Pos，loc，Neg分别表示正样本集合、负样本集合和边界框坐标位置集合。4.根据权利要求3所述的一种基于伪孪生网络与深度特征的目标识别匹配定位方法，其特征在于，在S3中，深度特征匹配是一种利用深度神经网络提取的特征来寻找两幅图像之间点对应关系的方法，直接计算两幅图像之间的对应关系，采用SSD目标识别算法所预先训练好的VGG网络来提取特征，在利用VGG
‑
19网络作为特征提取时，通过conv5_3，conv5_2、relu4_2、conv3_2、conv2_2、conv1_2网络层进行特征提取，利用神经网络最深层的平移不变性、尺度不变性与亮度不变性的特点，在语义层面上找到图像之间的匹配；具体是对于给定图像A与B，首先利用预先训练好的VGG
‑
19网络对这两幅图像进行深层特征提取，得到特征块F
A
与F
B
，采用密集最邻搜索算法搜索F
B
以找到F
A
每个元素的最佳匹配位置；密集最近邻搜索算法是指在密集特征地图中采用相互最近邻搜索和比率测试来进行搜索匹配，设定L2距离为最近邻匹配距离，对于特征映射F
A
中的点P
A
，如果L2距离与最佳匹配的P
B
和次最佳匹配的P
B
‑
1比率低于给定阈值τ，则点P
A
与P
B
匹配，但是只有作为相互匹配时，才接受该对，如果P
B
也与P
A
匹配，则P
A
和P
B
作为匹配对返回，对于匹配对集，采用分层细化方法进行从粗到精的匹配策略，利用深层网络的语义特性和浅层网络细节特性，从最深层的特征映射到最浅层，来达到精确匹配的目的，表示位于第n层的匹配对，与表示位于第n
‑
1层的特征映射，在VGG
‑
19网络中，匹配对中的每一个点都是前一层网络中4个点的父点，对于每一对匹配，构造点集Ω
A
和Ω
B
以表示P
A
和P
B
在n
‑
1层中的感受野，为了优化匹配对，将特征映射F
...

【专利技术属性】
技术研发人员：杨小冈，范继伟，卢瑞涛，陈璐，李清格，朱正杰，夏克寒，王思宇，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：