检测无人机影像目标的方法和系统技术方案

本发明专利技术公开了一种检测无人机影像目标的方法和系统。其中，该方法包括：判断目标的参考帧与当前帧的差异值是否超过阈值，其中，参考帧是当前帧的相邻前帧；如果差异值超过阈值则提取参考帧和当前帧各自的特征；通过光流网络模型将参考帧的特征传递到当前帧；将当前帧与从参考帧传递过来的特征按照不同的预设权重进行组合成为增强特征，其中，权重在特征通道中为固定不变的空间权重；检测增强特征得到目标检测与识别的结果和语义分割的结果。本发明专利技术解决了现有技术在对无人机影像进行目标检测与识别时存在处理精度与效率不能兼顾的技术问题。

【技术实现步骤摘要】
检测无人机影像目标的方法和系统
本专利技术涉及基于深度学习的无人机影像目标检测与识别领域，具体而言，涉及一种检测无人机影像目标的方法和系统。
技术介绍
基于无人机遥感影像数据的检测与识别技术正逐渐从军事领域进入到民用领域，一个可以快速准确获取影像信息、充分利用影像中复杂信息的方法备受关注，目标检测与识别是图像处理和模式识别的重要任务，最早期主要是靠人眼来识别目标物体，耗费大量的人力物力财力，并且效率低下；前些年发展成用机器学习进行目标识别，即提取图像中的尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)、方向梯度直方图(HistogramofOrientedGradient，HOG)、加速稳健特征(SpeededUpRobustFeatures，SURF)等特征，通过人工组合不同的特征，输入到分类器中进行分类，再结合相应的方法进行目标定位，虽然大大提升了效率，但是仍需要人工参与、检测效果不如人工检测；近几年，随着深度学习的发展，现有技术还出现基于深度学习一些图像目标检测算法，比如，R-CNN、AttentionNet、YOLO、SSD、FasterR-CNN、MaskR-CNN等等，这些方法各自存在一些缺点，方法1：MaskR-CNN是一个实例分割(Instancesegmentation)算法，可以用来做″目标检测″、″目标实例分割″、″目标关键点检测″。它主要用在静态图像的实例分割上，但在视频中直接应用该算法主要存在两方面的问题：a、计算量巨大，无法实时；b、由于MaskR-CNN是针对静态图像设计的，直接将其应用在视频中存在很多误检和漏检；方法2：使用YOLOv3进行目标检测与识别虽然速度快，但是与高速度相匹配的是高性能显卡，成本很高。另外，和MaskR-CNN一样，它是针对静态图像设计的，直接将其应用在视频中存在很多误检和漏检。方法3：T-CNN虽然能够通过时间信息和上下文信息修正效果，但是如果本身静态图像检测框架的检测效果不佳，则难以进行后续修正，另外，T-CNN计算量大，无法达到实时。方法4：Deepfeatureflow无法达到实时，并且没有考虑时间信息和上下文信息，容易存在漏检和误检。对精度要求高的项目无法达到预期要求。方法5：ImpressionNetworkforVideoObjectDetection解决的问题比较局限，仅融合多帧特征，同时提高速度和性能；虽然速度提升，但是无法实时，同时缺乏后处理操作。方法6：NoScope的轻量级CNN虽然可以加速单帧检测开销，但是精度比较低，并且没有利用相邻帧间的特征融合，精度不一定能达到要求。同时，针对视频进行检测缺乏后处理来提升精度。综上所述，由于视频中存在运动模糊，遮挡，形态变化多样性，光照变化多样性等问题，仅利用图像目标检测技术检测视频中的目标并不能得到很好的检测结果，精度不够经常存在漏检和误检。而单独使用这些方法都无法兼顾速度与精度。针对上述现有技术在对无人机目标图像进行检测与识别时存在处理精度与效率不能兼顾的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种检测无人机影像目标的方法和系统，以至少解决现有技术在对无人机影像进行目标检测与识别时存在处理精度与效率不能兼顾的技术问题。根据本专利技术实施例的一个方面，提供了一种检测无人机影像的方法，其特征在于，判断影像的参考帧与当前帧的差异值是否超过阈值，其中，所述参考帧是所述当前帧的相邻前帧，所述影像由多个目标组成；如果所述差异值超过阈值则提取所述参考帧和所述当前帧各自的特征；通过光流网络模型将所述参考帧的特征传递到所述当前帧；将所述当前帧与从所述参考帧传递过来的特征按照不同的预设权重进行组合成为增强特征，其中，所述权重在特征通道中为固定不变的空间权重；检测所述增强特征得到所述影像的目标检测与识别的结果和语义分割的结果。进一步地，判断目标的参考帧与当前帧的差异值是否超过阈值包括：对所述参考帧与所述当前帧进行帧间差分运算得到差异值；判断所述差异值是否超过阈值；如果所述差异值未超过阈值则将所述参考帧的检测结果传递到所述当前帧。进一步地，提取所述参考帧和所述当前帧各自的特征包括：通过特征提取网络提取所述参考帧和所述当前帧各自的特征。进一步地，检测所述增强特征得到所述目标检测与识别的结果和语义分割的结果包括：通过高精度检测网络检测所述增强特征得到所述影像的检测与识别结果和语义分割结果，其中，所述高精度检测网络是一种对静态图像进行检测与识别的算法。进一步地，检测所述增强特征得到所述影像的目标检测与识别结果和语义分割的结果之后包括：通过前后帧抑制、高置信度跟踪和空间位置矫正对所述影像的目标检测与识别和语义分割结果进行精度的提升，其中，所述前后帧抑制是通过对整段影像上的检测结果进行统计分析，对所有检测窗口按照置信度排序，选出得分高和得分低的窗口，将得分低的窗口减去特定值，用于使检测正确与错误的窗口拉开距离；所述高置信度跟踪是利用跟踪算法在检测结果中选取置信度高的目标作为跟踪起点，从所述跟踪起点向前向后在整个影像上进行跟踪，生成跟踪轨迹，在跟踪的过程中如果跟踪目标的变化导致置信度低于预设阈值时，则停止跟踪；然后从剩余的目标中选取置信度高的目标作为所述跟踪起点，重复进行上述操作；如果所述窗口与之前在跟踪轨迹上出现过的窗口一致，则直接跳过，最后，利用所述跟踪轨迹对目标检测与识别的结果和语义分割的结果进行矫正；所述空间位置矫正是通过跟踪结果对在每个位置周围的检测结果进行对比，当IOU＞0.5时的位置是目标的最终位置，IOU是两个区域重叠的部分除以两个区域的集合部分。进一步地，所述参考帧是将第一帧作为所述参考帧，然后用合成了增强特征的第二帧替换所述参考帧，依此类推，或者是给定一个时间间隔tin，第一帧首先作为参考帧，tin时刻后t时刻的参考帧就是t-tin时刻的帧。进一步地，通过光流网络模型将所述参考帧的特征传递到所述当前帧包括：将光流场My→x＝F(x，y)通过所述光流网络模型进行运动估计，其中，×是参考帧，y是当前帧；根据光流传播函数将所述参考帧的特征传递到当前帧，其中，所述光流传播函数为fx→y＝W(fx，My→x)＝W(fx，F(x，y))，其中，W(·)是一个双线性的传播函数，用于应用到特征每个通道的所有位置上，fx→y表示从帧x传播到帧y的特征。根据本专利技术实施例的另一方面，还提供了一种检测无人机影像目标的系统，包括：判断模块，用于判断影像的参考帧与当前帧的差异值是否超过阈值，其中，所述参考帧是所述当前帧的相邻前帧；提取模块，用于如果所述差异值超过阈值则提取所述参考帧和所述当前帧各自的特征；传递模块，用于通过光流网络模型将所述参考帧的特征传递到所述当前帧；特征增强模块，用于将所述当前帧与从所述参考帧传递过来的特征按照不同的预设权重进行组合成为增强特征，其中，所述权重在特征通道中为固定不变的空间权重；检测模块，用于检测所述增强特征得到所述影像的目标检测与识别的结果和语义分割的结果。根据本专利技术实施例的另一个方面，还提供给了一种存储介质，所述存储介质上保存有程序，所述程序被运行时执行上所述的方法。根据本专利技术实施例的另一个方面，还提供给了一种处本文档来自技高网...

【技术保护点】
1.一种检测无人机影像的方法，其特征在于，包括：判断影像的参考帧与当前帧的差异值是否超过阈值，其中，所述参考帧是所述当前帧的相邻前帧，所述影像由多个目标组成；如果所述差异值超过阈值则提取所述参考帧和所述当前帧各自的特征；通过光流网络模型将所述参考帧的特征传递到所述当前帧；将所述当前帧与从所述参考帧传递过来的特征按照不同的预设权重进行组合成为增强特征，其中，所述权重在特征通道中为固定不变的空间权重；检测所述增强特征得到所述影像的目标检测与识别的结果和语义分割的结果。

【技术特征摘要】
1.一种检测无人机影像的方法，其特征在于，包括：判断影像的参考帧与当前帧的差异值是否超过阈值，其中，所述参考帧是所述当前帧的相邻前帧，所述影像由多个目标组成；如果所述差异值超过阈值则提取所述参考帧和所述当前帧各自的特征；通过光流网络模型将所述参考帧的特征传递到所述当前帧；将所述当前帧与从所述参考帧传递过来的特征按照不同的预设权重进行组合成为增强特征，其中，所述权重在特征通道中为固定不变的空间权重；检测所述增强特征得到所述影像的目标检测与识别的结果和语义分割的结果。2.根据权利要求1所述的方法，其特征在于，判断目标的参考帧与当前帧的差异值是否超过阈值包括：对所述参考帧与所述当前帧进行帧间差分运算得到差异值；判断所述差异值是否超过阈值；如果所述差异值未超过阈值则将所述参考帧的检测结果传递到所述当前帧。3.根据权利要求1所述的方法，其特征在于，提取所述参考帧和所述当前帧各自的特征包括：通过特征提取网络提取所述参考帧和所述当前帧各自的特征。4.根据权利要求1所述的方法，其特征在于，检测所述增强特征得到所述目标检测与识别的结果和语义分割的结果包括：通过高精度检测网络检测所述增强特征得到所述影像的检测与识别结果和语义分割结果，其中，所述高精度检测网络是一种对静态图像进行检测与识别的算法。5.根据权利要求1所述的方法，其特征在于，检测所述增强特征得到所述影像的目标检测与识别结果和语义分割的结果之后包括：通过前后帧抑制、高置信度跟踪和空间位置矫正对所述影像的目标检测与识别和语义分割结果进行精度的提升，其中，所述前后帧抑制是通过对整段影像上的检测结果进行统计分析，对所有检测窗口按照置信度排序，选出得分高和得分低的窗口，将得分低的窗口减去特定值，用于使检测正确与错误的窗口拉开距离；所述高置信度跟踪是利用跟踪算法在检测结果中选取置信度高的目标作为跟踪起点，从所述跟踪起点向前向后在整个影像上进行跟踪，生成跟踪轨迹，在跟踪的过程中如果跟踪目标的变化导致置信度低于预设阈值时，则停止跟踪；然后从剩余的目标中选取置信度高的目标作为所...

【专利技术属性】
技术研发人员：阿孜古丽·吾拉木，施祖贤，张德政，栗辉，陈天傲，杨容季，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11