【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于transformer架构的航拍图像预测方法。
技术介绍
1、随着人工智能技术与计算机硬件条件的不断发展，人工智能在诸多领域中取得了一系列研究进展，人类发展逐步迈入智能时代。在无人机相关行业中，随着无人机研制成本不断降低，使得民用无人机市场进入快速发展时期。与此同时，计算机视觉在近几年取得了瞩目的进步，无人机与视觉技术结合，开始发挥越来越多的作用。如今，无人机凭借尺寸小、操作灵敏等优点在航拍、农业、植保等领域发挥着重要作用。在未来，基于视觉技术的航拍无人机毫无疑问会成为城市发展智能化进程中重要一环。
2、在以往的基于深度学习的无人机航拍图像预测方法往往采用卷积神经网络(convolutional neural network，cnn)架构作为目标预测网络架构。主要是因为cnn架构的计算成本较低，技术成熟，较为容易部署在无人机上。但是基于cnn的目标预测网络往往要使用如非极大值抑制(non-maximum suppression，nms)、预选框等手工组件，在不同的数据集上其参数设置情况会严重影响预测结果。近些年，基于transformer架构的目标检测网络成为继cnn架构以外的另一大目标检测网络架构。该架构由于消除了手工组件并且具有优越的检测性能受到了学术界和工业界的广泛关注。但transformer架构的计算成本较高，不利于在无人机上进行部署。
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术提供了一种基于tran
2、第一方面，本专利技术提供了一种基于transformer架构的航拍图像预测方法，包括：
3、通过设置在无人机上的航拍摄像头获取目标航拍图像；
4、根据预先训练好的基于transformer架构的航拍图像预测模型，对目标航拍图像进行预测，以得到目标航拍图像中所包括的目标对象的分类信息及位置信息，基于transformer架构的航拍图像预测模型包括主干网络、基于transformer架构的混合编码器、基于transformer架构的解码器，以及预测头，
5、主干网络，用于提取目标航拍图像所对应的不同深度下的m个第一特征图，m为大于等于1的正整数，
6、基于transformer架构的混合编码器，用于基于transformer架构，对各第一特征图进行编码，得到编码结果，
7、基于transformer架构的解码器，用于基于transformer架构对编码结果进行解码处理，生成预测向量，
8、预测头，用于根据预测向量，确定目标航拍图像中所包括的目标对象的分类信息及位置信息。
9、第二方面，本专利技术提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
10、存储器，用于存放计算机程序；
11、处理器，用于执行存储器上所存放的程序时，实现第一方面所提供的任一方法。
12、第三方面，本专利技术提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面所提供的任一方法。
13、本专利技术的有益效果：
14、本专利技术提供的基于transformer架构的航拍图像预测方法，通过设置在无人机上的航拍摄像头获取目标航拍图像；根据预先训练好的基于transformer架构的航拍图像预测模型，对目标航拍图像进行预测，以得到目标航拍图像中所包括的目标对象的分类信息及位置信息，既解决了使用传统卷积神经网路精度低，需要采用手工组件的弊端，又解决了transformer计算成本高的问题，实现了将transformer架构应用于无人机这一移动端低功耗场景中。
15、以下将结合附图及实施例对本专利技术做进一步详细说明。
本文档来自技高网...【技术保护点】
1.一种基于Transformer架构的航拍图像预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于Transformer架构的混合编码器包括第一简化编码层、第二简化编码层和多层特征融合网络；
3.根据权利要求2所述的方法，其特征在于，所述简化编码层包括精简自注意力模块；
4.根据权利要求3所述的方法，其特征在于，所述精简自注意力模块，在根据所述目标航拍图像所对应的不同通道的权重向量和所述Key向量得到所述第一目标向量时，具体用于将所述目标航拍图像所对应的不同通道的权重向量与所述Key向量进行广播乘法，并对相应乘积进行加权处理后，得到所述第一目标向量。
5.根据权利要求1-4任意所述的方法，其特征在于，在所述根据预先训练好的基于Transformer架构的航拍图像预测模型，对所述目标航拍图像进行预测之前，还包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数的表达式为：
7.根据权利要求5所述的方法，其特征在于，所述匈牙利匹配代价函数的表达式为：
8.根据权利
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法。
...【技术特征摘要】
1.一种基于transformer架构的航拍图像预测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于transformer架构的混合编码器包括第一简化编码层、第二简化编码层和多层特征融合网络；
3.根据权利要求2所述的方法，其特征在于，所述简化编码层包括精简自注意力模块；
4.根据权利要求3所述的方法，其特征在于，所述精简自注意力模块，在根据所述目标航拍图像所对应的不同通道的权重向量和所述key向量得到所述第一目标向量时，具体用于将所述目标航拍图像所对应的不同通道的权重向量与所述key向量进行广播乘法，并对相应乘积进行加权处理后，得到所述第一目标向量。
5.根据权利要求1-4任意所述的方法，其特征在于，在所述根据预先训练好的基于tr...
【专利技术属性】
技术研发人员：彭琪，吴之菁，包军林，祁仲冬，施宇根，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。