一种无人机视角灾情场景信息标注和检测方法技术

本发明专利技术公开了一种无人机视角灾情场景信息标注和检测方法，包括如下步骤：(1)采用云边端协同的方式建立待识别物体的数据字典；(2)构建基于YOLOv5的神经网络MIM

【技术实现步骤摘要】
一种无人机视角灾情场景信息标注和检测方法


[0001]本专利技术涉及目标检测技术，具体涉及一种无人机视角灾情场景信息标注和检测方法。

技术介绍

[0002]过去十年可以说是云计算大发展的十年，国内外的云计算市场格局初定。而网络的带宽是有限的，5G技术基本已经限定未来10年的无线网络的大背景，但终端的数量却在成倍的增长，据IDC的预测，2021年的物联网终端数量已达500亿，到2025年将达到1000亿。
[0003]在云计算相对成熟，网络带宽受限，终端爆发式增长的大背景下。边缘计算变得越来越重要，从2019年开始，边缘计算技术的逐步成熟，加上应用场景的丰富，已经成为了业内发展热点，即将迎来5
‑
10年的大爆发时期。
[0004]边缘计算在低时延需求、降低云端技术压力和网络带宽成本、提高数据安全性和可靠性方面都将发挥重要作用，但是也面临着边缘节点异构、资源传输受限、边缘数据异构、工作负载调配不均衡、安全与隐私等诸多挑战。
[0005]在智能制造瑕疵检测、精密制造、医学辅助诊疗、自动驾驶、云游戏、超高清视频等应用场景下，云边协同是必然选择的技术路径。同样，目标检测和灾情标注也是云边协同的一种应用前景。
[0006]简单来说，云边协同，是一个统一的数据交互模式，统一调度和管理。它是一个分层方案，每一层服务，处理逻辑和职责不同，层与层之间分工协作。
[0007]从检测方法看，近年来，使用深度卷积神经网络的目标检测任务取得了重大进展，极大地促进了目标检测应用的发展。然而，以往的深卷积神经网络大多是针对自然场景图像设计的。直接应用前面的模型来处理无人机捕获灾情场景中的目标检测任务主要有三个问题。首先，由于无人机的飞行高度变化很大，物体比例变化很大。其次，无人机拍摄的图像包含高密度的对象，这会导致对象之间的遮挡。第三，无人机拍摄时，考虑灾区现场的烟尘阻挡，拍摄的图片往往识别性差。上述三个问题使得无人机拍摄图像的目标检测具有很大的挑战性。
[0008]从场景标注看，受灾场景复杂，数据集标注困难；数据集少。受灾特殊场景变化复杂，缺少对应的数据集。标注方法多采用C/S端进行标绘，这种方式灵活性、时效性存在局限，数据共享困难，很难第一时间反馈现场信息。

技术实现思路

[0009]针对现有技术存在的不足，本专利技术的目的在于提供一种无人机视角灾情场景信息标注和检测方法，以解决无人机识别物体准确率不高，且受灾场景复杂，数据集标注困难的问题。
[0010]为了实现上述目的，本专利技术采用以下技术方案予以实现：
[0011]一种无人机视角灾情场景信息标注和检测方法，包括如下步骤：
[0012](1)采用云边端协同的方式建立待识别物体的数据字典；
[0013](2)构建基于YOLOv5的神经网络MIM
‑
YOLOv5，所述MIM
‑
YOLOv5神经网络采取transformer与Conv相结合的方式，其中Swin
‑
MIM模块采用自监督的方式扩充数据集；采用的目标检测算法为改进的模型MIM
‑
YOLOv5，所述MIM
‑
YOLOv5采用Swin
‑
MIM、CSPDarknet53和路径聚合网络作为主干和颈部，并同时将原有的三个分别用于检测小型、中型、大型物体的预测头的输出尺寸下调二分之一倍得到三个分别用于检测微小、小型、中型物体的检测模块以适应无人机捕获场景；并采用卷积块注意模块CBAM沿通道和空间维度顺序生成注意图；
[0014](3)将无人机捕获图像传入MIM
‑
YOLOv5，通过云中心、前线指挥中心、手持终端和无人机终端分别充当云、边、端节点，构成云边端协同系统，采用云边端协同方式对灾情场景信息进行自动标注和目标检测，当图像中出现灾情标签时，神经网络自动检测并报警，并启用云边端三方协同处理。
[0015]进一步地，所述步骤1)采用云边端协同的方式建立待识别物体的数据字典的具体步骤为：以手持终端为端直接在终端对新增灾情图像数据进行标签录入，然后报备至附近部署的指挥中心，定期向云端服务器数据字典进行汇总，更新总体数据字典，最终形成标签和灾情图像的数据字典。
[0016]进一步地，所述步骤2)中的Swin
‑
MIM在训练时掩码概率设置为0.15，实际测试时掩码概率设置为0。
[0017]进一步地，所述步骤3)采用云边端协同方式对灾情场景信息进行自动标注和目标检测的具体操作为：使用终端采集数据，并将数据上传，边端则进行动态标注新采集并向云中心上传标注好的灾情图像数据，云端服务器首先对既有开源灾情数据进行收集并与本地数据集进行匹配，匹配算法采用基于图像像素的余弦相似度计算值，并设定一个标准值λ，用来衡量数据的相似性，若计算的相似度大于λ，则不更新和替换该图像；若计算的相似度小于λ，则在云端数据中增加该数据，以动态扩展云端数据集，而后将拓展的数据交由云中心专业人员进行实时的数据标注，云中心服务器对已标注数据进行汇聚，并将整合的救援数据返回现场救援人员，形成云边端协同标注体系。
[0018]进一步地，所述步骤3)中云中心可提供API服务或利用模型仓库将镜像下发到指定的边缘节点上，然后部署成API，运行在边沿节点，即云中心的Node中，用于管理所有服务；
[0019]所述云边端协同系统中的所有传感器统一接入边缘节点的网关，实现统一的分发，以提高数据传输效率；所述云端会在获取到所有的原始数据后，将规则引擎模块发送给分析的模型服务，实现模型推理，最终输出数据洞察。
[0020]本专利技术与现有技术相比，具有如下技术效果：
[0021]1、本申请首次将云边端技术与灾情检测相结合，将云计算与终端设备协同工作，大幅度提高了应急处置效率。
[0022]2、因为单纯的transformer结构所需模型参数过大，并且需要庞大的训练集训练才可以使其拟合，当前阶段无人机视觉并不能满足其要求，无人机捕获图像本身由于拍摄困难，数据集很难像其他图像一样得到扩充。通过实验发现，处于第一部分的mask autoencoding模块更适合训练出适应小目标的模型，因此本申请采取了Swin
‑
MIM和卷积结
合的方式，mask autoencoding的设计使得图像可以自监督训练，在数据增强得同时，使得模型拥有了更好的泛化能力。
[0023]3、解决了以往无人机识别物体准确率不高，且针对复杂受灾场景，数据集标注困难的问题。
[0024]4、本专利技术无需改造任何传统设备，只要上传数据就可以实现边缘计算，成本较低；此外，因为边缘节点部署在贴近数据源的位置，处理起来响应非常及时，因此效率更高；并且可以最大化利用人力资源，形成一套良好的指挥体系。
附图说明
[0025]图1为本专利技术实施例所涉及的基于transformer的Swin
‑
MIM模块的结构示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机视角灾情场景信息标注和检测方法，其特征在于，包括如下步骤：(1)采用云边端协同的方式建立待识别物体的数据字典；(2)构建基于YOLOv5的神经网络MIM
‑
YOLOv5，所述MIM
‑
YOLOv5神经网络采取transformer与Conv相结合的方式，其中Swin
‑
MIM模块采用自监督的方式扩充数据集；采用的目标检测算法为改进的模型MIM
‑
YOLOv5，所述MIM
‑
YOLOv5采用Swin
‑
MIM、CSPDarknet53和路径聚合网络作为主干和颈部，并同时将原有的三个分别用于检测小型、中型、大型物体的预测头的输出尺寸下调二分之一倍得到三个分别用于检测微小、小型、中型物体的检测模块以适应无人机捕获场景；并采用卷积块注意模块CBAM沿通道和空间维度顺序生成注意图；(3)将无人机捕获图像传入MIM
‑
YOLOv5，通过云中心、前线指挥中心、手持终端和无人机终端分别充当云、边、端节点，构成云边端协同系统，采用云边端协同方式对灾情场景信息进行自动标注和目标检测，当图像中出现灾情标签时，神经网络自动检测并报警，并启用云边端三方协同处理。2.如权利要求1所述的无人机视角灾情场景信息标注和检测方法，其特征在于，所述步骤1)采用云边端协同的方式建立待识别物体的数据字典的具体步骤为：以手持终端为端直接在终端对新增灾情图像数据进行标签录入，然后报备至附近部署的指挥中心...

【专利技术属性】
技术研发人员：崔翛龙，高志强，郭少哲，于超，
申请(专利权)人：中国人民武装警察部队工程大学，
类型：发明
国别省市：