基于transformer关键纹理编码匹配的无人机定位方法技术

本发明专利技术公开了一种基于transformer关键纹理编码匹配的无人机定位方法，主要解决了现有视觉定位方案在特征稀疏和特征变化场景下匹配准确率低，位置估计误差大等问题。其实现步骤是：生成纹理训练数据集，构建并训练关键纹理识别网络；建立图片匹配数据集，构建并训练基于transformer关键纹理编码匹配网络；将航拍图片和裁剪的卫星图输入训练好的网络模型中，根据匹配结果计算出无人机坐标。本发明专利技术能够适应多种场景下的无人机视觉定位问题，具有较强泛化性，且位置估计误差较小。且位置估计误差较小。且位置估计误差较小。

【技术实现步骤摘要】
基于transformer关键纹理编码匹配的无人机定位方法


[0001]本专利技术属于计算机视觉领域，更进一步涉及基于transformer关键纹理编码匹配的无人机定位方法。

技术介绍

[0002]GPS信号由于电磁干扰、大气影响、干扰或敌对区域的对策而变得不可用或不可靠，GPS丢失是一种普遍现象。在这些限制范围内，需要独立的被动替代导航(NAV)系统。在这些限制下，依赖于视觉的基于图像的导航系统是理想的选择。目前从航空或卫星来源获得的大量高分辨率地球观测图像覆盖了全球大部分地区，促进了新应用的出现。在自主视觉无人机导航中，将无人机的相机帧与空中/卫星图像进行比较，以推断无人机的位置。在这个典型的图像识别和定位问题中，存在几个典型的挑战：(1)在图像采集阶段，由于天气时间和拍摄角度变化的影响，捕捉帧中物体形状的阴影可能会大大降低基于特征点的局部匹配精度。(2)不同源图像之间存在分辨率角度偏差。(3)由于物体的出现/消失，图像采集历史的差异可能导致图像对之间的不匹配，使匹配更加困难。
[0003]Huitai Hou,Qing Xu,Ch本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于transformer关键纹理编码匹配的无人机定位方法，其特征在于，包括以下步骤：S1：使用卫星图片生成对应的纹理二值图，生成图片纹理数据集；S2：构建关键纹理识别网络模型，利用S1中的图片纹理数据集对关键纹理识别网络模型进行训练；S3：利用同一区域不同时间拍摄的卫星地图，生成图片特征匹配数据集；S4：构建基于transformer关键纹理编码匹配网络模型，使用S3中的图片特征匹配数据集和S2中训练好的关键纹理识别网络模型对基于transformer关键纹理编码匹配网络模型进行训练；S5：根据S1至S4所述的步骤，对无人机进行视觉定位，S51，无人机以平稳姿态飞行拍摄所给区域得到航拍图片U，同时获取飞行相对高度height和飞行方向φ；S52，根据所给区域的卫星地图，裁剪得到卫星图片集；S53，对无人机航拍图片U与卫星图片集中的图片相匹配；S54，根据匹配结果计算无人机坐标。2.根据权利要求1所述的基于transformer关键纹理编码匹配的无人机定位方法，其特征在于，所述的S1中，将卫星图片转为灰度图，裁剪灰度图尺寸为256
×
256像素，使用Canny边缘检测算子对裁剪好的图片提取轮廓信息为二值图，保留建筑、道路、河岸和树林边缘的纹理轮廓，删去多余纹理，将二值图调整尺寸为16
×
16的矩阵形式储存。3.根据权利要求2所述的基于transformer关键纹理编码匹配的无人机定位方法，其特征在于，所述的S2中，关键纹理识别网络模型是在ResNet18基础上进行改进，在第一个卷积层中，将通道1转为128，在接下来的残差块中通道数分别转为128、128、196和256，在最后一个残差块后面接上两个卷积核为1
×
1的卷积层，通道数分别转为256和1，输入S1中维度为1
×
256
×
256的灰度图片，最终输出维度为1
×
16
×
16，训练关键纹理识别网络模型时，随机初始化网络参数，AdamW优化算法作为关键纹理识别网络模型训练优化器，选用对数损失函数计算关键纹理识别网络模型输出与对应二值图之间的差距。4.根据权利要求3所述的基于transformer关键纹理编码匹配的无人机定位方法，其特征在于，所述的S3中，同一区域不同时间拍摄的卫星地图通过仿射变换生成不同视角下的图片，模拟无人机拍摄图片，根据图片之间的映射关系得到图片对应像素点的位置，对应像素点以矩阵形式存储，作为基于transformer关键纹理编码匹配网络模型的目标输出结果。5.根据权利要求4所述的基于transformer关键纹理编码匹配的无人机定位方法，其特征在于，所述的S4中，构建基于transformer关键纹理编码匹配网络模型，其中编码层包含两部分，第一部分为相对位置编码层，通过编码特征之间的相对位置得到，由两个全连接层和中间的Relu激活函数组成，将二维相对位置映射到256维特征空间，得到相对位置编码R，第二部分为注意力编码层，由四个重复的注意力模块组成，其中每个注意力模块由自注意力和互注意力组成，所述的自注意力中，分别对特征序列f
A
和f
B
编码，首先将特征序列f
A
和f
B
线性变换得到查询序列Q、键序列K和值序列V，将K、V、R经过纹理权重筛选：
其中，M
i
表示第i个特征的纹理权重，K
i
表示第i个键,表示筛选后的键序列，V
i
表示第i个值,表示筛选后的值序列，R
*，i
表示所有特征与第i个特征之间的相对位置编码，表示筛选后的相对位置编码，选择纹理权重大于0.2的部分后，将Q、送入多头注意力进行编码，所述的自注意力中多头注意力的计算由下式表示：其中，self(i)表示对特征序列中第i个特征的编码，Q
i
表示第i个查询，表示经过筛选后的第j个键，表示经过筛选后的第l个键，表示经过筛选后的第j个值，表示筛选后的第i个特征和第j个特征之间的相对位置编码，所述的互注意力中，f
A
的编码如下：首先由f
A
线性变换生成查询序列Q，由f
B

【专利技术属性】
技术研发人员：吴启晖，王浩洋，周福辉，赵世瑾，董超，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：