【技术实现步骤摘要】
本专利技术属于无人机，具体涉及一种基于深度学习的景象匹配方法。
技术介绍
1、目前空地导弹、巡飞弹、无人机、远程轰炸机等飞行器定位导航主要依靠gnss、惯性导航、无线电导航等。gnss、无线电导航在拒止环境下生存力较弱，高精度惯性导航成本高昂。在拒止环境下以低成本方式实现高精度导航愈发迫切。依靠视觉是一种重要的方式，一方面光学成本低，另一方面可以复用导引头图像，满足低成本和简单易用的要求。图像匹配是指通过某种匹配算法在两幅或多幅图像之间把一个图像区域从目标区域中识别出来，找到它们之间的识别同名点的图像分析与图像处理技术。景象匹配是一类特殊的图像匹配技术，主要采用图像传感器获取飞行或目标区附近的区域图像与存贮的基准图像进行匹配，获取飞行器位置数据，景象匹配算法广泛应用在各种飞行器的制导中，具有自主性、隐蔽性、不易受外界干扰等特点，在提高载体拒止环境下导航系统的生存能力和满足任务特殊阶段的导航需求等方面具有明显优势。
2、国内外对景象匹配技术开展了大量研究工作，已取得一定研究成果，但在实际应用中仍存在不少困难和问题，基于无人机平台的景象匹配技术由于成像条件的变化，如不同时间、不同视角、不同光照、不同分辨率、不同载台以及不同传感器等，获取的图像间往往是宽基线的，给准确、鲁棒的图像配准带来巨大挑战。因此需要研发出一种匹配准确度更高、系统实时性和解算速度更快的景象匹配方法。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供了一种基于深度学习的景象匹配方法，首先构建景象匹配
2、本专利技术解决其技术问题所采用的技术方案如下：
3、步骤1：构建景象匹配模型，选择全卷积孪生神经网络，选取1张拍摄图像和4张不同角度的模板图像；
4、步骤2：在一次匹配中，将4张不同角度的模板图像与选取的1张拍摄图像输入至全卷积孪生神经网络模型；
5、步骤3：使用全卷积孪生神经网络模型的两条分支分别对4张不同角度的模板图像与1张拍摄图像进行特征提取，生成五幅特征图；
6、步骤4：使用4张模板图像的特征图分别在拍摄图像的特征图上进行卷积运算，衡量相似度，并生成得分矩阵；
7、步骤5：检索得分矩阵中最大值坐标，判定最大值坐标对应的区域为匹配的区域，并回归到拍摄图像中，得到匹配目标的位置；
8、步骤6：使用匹配检测模块将4张模板图像与选取的1张拍摄图像的匹配结果进行对比，输出匹配效果最好的模板图像作为匹配结果；
9、步骤7：将景象匹配模型部署至无人机平台，通过对景象匹配结果进行视觉位姿估计，求解得到无人机位姿，实现无人机的跨视角视觉定位。
10、优选地，所述景象匹配模型由全卷积孪生神经网络和匹配检测模块两部分组成；其中，全卷积孪生神经网络进行4张不同角度的模板图像与1张拍摄图像的特征提取并分别进行卷积计算，得到4张模板图像与选取的1张拍摄图像的匹配结果；匹配检测模块将4张模板图像与选取的1张拍摄图像的匹配结果分别进行对比，选取匹配度最高的模板图像作为匹配结果进行输出。
11、优选地，所述步骤3具体为：
12、全卷积孪生神经网络包括两条通道，分别对模板图像和拍摄图像进行特征提取，全卷积孪生神经网络没有全连接层，因此能够输入任意大小的模板图像和拍摄图像；全卷积孪生神经网络的每条通道均含有卷积层和池化层；
13、全卷积孪生神经网络对模板图像和拍摄图像进行特征提取的具体步骤为：将合并为同一批次的4张不同角度的模板图像与选取的1张拍摄图像输入至模型中，通过卷积层对输入的图像进行卷积提取图像特征，之后通过池化层采用降采样的方法，把输入特征图上每相邻的一个小区域的像素值合并为一个值，之后将提取到的高层图像特征映射到新的特征空间，生成两幅特征图。
14、优选地，所述步骤6具体为：
15、使用匹配检测模块对生成的4张模板图像与选取的1张拍摄图像的得分矩阵计算欧氏距离和余弦相似度，输出相似度最高的模板图像作为匹配结果。
16、优选地，所述步骤7具体为：
17、将景象匹配模型部署至无人机平台，无人机在飞行过程中实时获取地面影像，通过景象匹配模型将实时影像信息与模板图像进行匹配，得到图像匹配结果，之后将图像匹配结果进行特征点提取及排序，得到图像配准结果和关键特征匹配点对集，之后根据特征点匹配点进行无人机位姿解算，得到无人机的位置信息和姿态信息，将景象匹配模型部署至无人机平台通过对景象匹配结果进行视觉位姿估计，求解得到无人机位姿，实现无人机的跨视角视觉定位。
18、本专利技术的有益效果如下：
19、1.本专利技术创新性地使用了一种全卷积的孪生网络来进行跨视角图像匹配任务，该网络中没有全连接层，可以输入任意大小的模板图像和拍摄图像，不再对输入图像尺寸有严格限制，经过特征提取后，模板图像可以作为一个卷积核在检索图像的特征图上做卷积计算，计算所有子窗口的相似度。
20、2.本专利技术创新性地设计跨视角图像匹配方案，针对实际使用中拍摄图像与模板图像视角不同的问题，提出跨视角图像匹配方案，利用全卷积孪生神经网络和匹配检测模块，对输入至全卷积孪生神经网络的4张不同视角的模板图像与拍摄图像进行匹配，并通过匹配检测模块筛选出匹配效果最好的模板图像作为匹配结果进行输出，提高了匹配的精准性和鲁棒性。同时本专利技术还将4张不同角度的模板图像合并为同一批次同时进行输入，提高了系统的实时性和解算速度。
21、3.本专利技术将景象匹配模型部署至无人机平台，通过提升图像匹配的精度提高了无人机定位的精准性，为后续构建模型精度更高、匹配速度更快的景象匹配模型打下了基础。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的景象匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的景象匹配方法，其特征在于，所述景象匹配模型由全卷积孪生神经网络和匹配检测模块两部分组成；其中，全卷积孪生神经网络进行4张不同角度的模板图像与1张拍摄图像的特征提取并分别进行卷积计算，得到4张模板图像与选取的1张拍摄图像的匹配结果；匹配检测模块将4张模板图像与选取的1张拍摄图像的匹配结果分别进行对比，选取匹配度最高的模板图像作为匹配结果进行输出。
3.根据权利要求2所述的一种基于深度学习的景象匹配方法，其特征在于，所述步骤3具体为：
4.根据权利要求3所述的一种基于深度学习的景象匹配方法，其特征在于，所述步骤6具体为：
5.根据权利要求4所述的一种基于深度学习的景象匹配方法，其特征在于，所述步骤7具体为：
【技术特征摘要】
1.一种基于深度学习的景象匹配方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的景象匹配方法，其特征在于，所述景象匹配模型由全卷积孪生神经网络和匹配检测模块两部分组成；其中，全卷积孪生神经网络进行4张不同角度的模板图像与1张拍摄图像的特征提取并分别进行卷积计算，得到4张模板图像与选取的1张拍摄图像的匹配结果；匹配检测模块将4张模板图像与选取的...
【专利技术属性】
技术研发人员：孙博洋，得力巴尔·沙吾列提，张兆祥，李紫阳，丁庆涵，李君豪，汪义轩，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。