一种无人机视频运动目标快速检测方法及装置制造方法及图纸

一种无人机视频运动目标快速检测方法及装置，属于机器学习及深度学习的技术领域，其特征在于：基于互信息量提取EO视频关键帧从而充分利用视频的前后帧信息，然后利用卷积神经网络对其进行智能目标检测与识别，以保证应用场景中目标的识别性能，而后利用光流信息，获取非关键帧的识别结果，并将两者信息融合从而大大提高处理的时效性指标。在实际应用中提升无人机视频运动目标快速准确，可为无人机动态背景下运动目标的检测提供智能处理的理论支撑及关键技术支撑。撑及关键技术支撑。撑及关键技术支撑。

【技术实现步骤摘要】
一种无人机视频运动目标快速检测方法及装置


[0001]本专利技术属于机器学习及深度学习的
，尤其涉及一种无人机视频运动目标快速检测方法及装置。

技术介绍

[0002]运动目标的检测是实现目标跟踪以及运动目标分析、处理的基础，广泛应用于工业检测、目标监视、目标跟踪和机器人视觉导航等领域。根据摄像机运动的情况，可以将运动目标检测分为静止背景的目标检测和运动背景的目标检测。运动背景的目标检测主要是由于摄像机的运动引起，影像中既有背景的运动又有目标的运动，使得影像中包含的运动信息更加复杂，其更接近于真实的情况，因此相对于静止背景的目标检测，运动背景条件下的目标检测处理起来就更加复杂。
[0003]近些年，国内外研究者提出了许多运动目标检测的方法，主要包括：静止背景下的帧差法等；动态背景下的光流法、统计模型法等。所述帧差法是将连续两帧影像对应像素点的灰度值进行相减处理，通过判断其差值的大小来确定该像素是属于背景还是运动目标，该方法的特点是计算简单、速度快并且检测效果较好。在影像中由于目标大小、背景亮度不同的影响，对差分图像的分割方法也不尽相同。所述光流法是给图像中的每一个像素点赋予一个速度矢量，就形成了一个运动场。在某一时刻，三维物体上的点和图像上的点根据投影关系一一对应，根据各个像素点的速度矢量特征，对图像进行动态分析。当运动目标(前景)和图像背景存在相对运动时，运动目标形成的速度矢量场和背景速度矢量场有所不同，根据速度矢量场形成的目标运动区域，从而检测提取出运动目标的位置。统计模型的方法的基本原理是：首先利用比较简单的方法对影像中的运动情况进行初始估计，然后根据马尔科夫随机场理论构造前景与背景之间间断点分布模型，利用该模型来检测运动场间的间断点来实现运动目标的检测。
[0004]对无人机获取的视频序列影像进行快速处理，必须兼顾实时检测的性能和算法的有效性，而现有技术中对于这两者的要求往往不能同时得到满足，这使得无人机视频处理技术成为计算机视觉中的一个研究热点和难点。

技术实现思路

[0005]本专利技术旨在解决上述问题，提供一种能够快速实现视频目标的检测识别，从而在实际应用中可解决无人机目标探测智能处理实时性差的问题的无人机视频运动目标快速检测方法及装置。
[0006]第一方面，本专利技术提供一种无人机视频运动目标快速检测方法，包括以下步骤：步骤一、获取EO视频数据；基于互信息量进行EO视频关键帧提取；利用视频序列帧间相关性，将视频序列拆解为关键帧与非关键帧的集合；步骤二、对步骤一获得的关键帧，基于卷积神经网络架构，构建目标的任务型快速检测识别网络，进行关键帧中目标信息的检测与识别；
步骤三、对步骤一获得的EO视频数据，基于光流信息进行非关键帧中目标信息的检测与识别；步骤四、对步骤二和步骤三得到的目标信息进行融合，关键帧目标直接输出目标检测、识别信息；非关键帧进行快速融合实现目标信息的快速确认。
[0007]进一步，本专利技术所述无人机视频运动目标快速检测方法，所述基于互信息量进行EO视频关键帧提取包括以下过程：对视频段进行初始分类后使用聚类的方法进行关键帧的提取；将关键视频段数据分为若干个子视频段，每个子视频段作为一类；在每一类中选取互信息量最大、最小和最接近该类中平均互信息量的一帧作为关键帧的候选帧；根据提取的候选关键帧之间时间上的距离，当每个类中互信息量最大与互信息量最小一帧的帧间间隔小于视频帧率时，选取最接近类平均互信息量的一帧作为关键帧，否则选择该两帧作为关键帧。
[0008]进一步，本专利技术所述无人机视频运动目标快速检测方法，所述基于光流信息进行非关键帧中目标信息的检测与识别时，计算关键帧与非关键帧之间的光流信息，利用关键帧中目标处的光流信息将关键帧的检测与识别结果传递到非关键帧中，融合得到非关键帧中目标的检测与识别结果。
[0009]第二方面，本专利技术提供一种无人机视频运动目标快速检测装置，包括视频数据获取模块、目标信息检测模块、信息融合模块；所述视频数据获取模块用于获取EO视频数据；基于互信息量进行EO视频关键帧提取；利用视频序列帧间相关性，将视频序列拆解为关键帧与非关键帧的集合；所述目标信息检测模块用于针对获得的关键帧，基于卷积神经网络架构，构建目标的任务型快速检测识别网络，进行关键帧中目标信息的检测与识别；同时针对获得的EO视频数据，基于光流信息进行非关键帧中目标信息的检测与识别；所述信息融合模块用于针对得到的目标信息进行融合，关键帧目标直接输出目标检测、识别信息；非关键帧进行快速融合实现目标信息的快速确认。
[0010]第三方面，本专利技术提供一种无人机视频运动目标快速检测的电子装置，包括相电连接的处理器和存储器；所述存储器用于存储计算机程序；所述处理器执行前述计算机程序时，可实现如前述第一方面所述的无人机视频运动目标快速检测方法。
[0011]第四方面，本专利技术提供一种计算机可读存储介质，所述存储介质上存储有计算机程序；所述计算机程序被执行时，可实现如前述第一方面所述的无人机视频运动目标快速检测方法。
[0012]本专利技术所述无人机视频运动目标快速检测方法及装置，针对无人机目标探测智能处理高性能应用需求，基于互信息量提取EO视频关键帧从而充分利用视频的前后帧信息，然后利用卷积神经网络对其进行智能目标检测与识别，以保证应用场景中目标的识别性能，而后利用光流信息，获取非关键帧的识别结果，并将两者信息融合从而大大提高处理的时效性指标。在实际应用中提升无人机视频运动目标快速准确，可为无人机动态背景下运动目标的检测提供智能处理的理论支撑及关键技术支撑。
附图说明
[0013]图1为本专利技术实施例所述EO视频目标检测识别流程图；图2为本专利技术实施例所述基于互信息量提取EO视频流解析技术流程图；图3为本专利技术实施例所述基于光流信息传递流程图；图4为本专利技术实施例所述无人机视频运动目标快速检测装置结构示意图。
具体实施方式
[0014]下面通过附图及实施例对本专利技术所述无人机视频运动目标快速检测方法及装置进行详细说明。
[0015]实施例一本实施例公开一种无人机视频运动目标快速检测方法，包括以下步骤：步骤一、获取EO视频数据；基于互信息量进行EO视频关键帧提取；利用视频序列帧间相关性，将视频序列拆解为关键帧与非关键帧的集合；步骤二、对步骤一获得的关键帧，基于ppyolo卷积神经网络架构，构建目标的任务型快速检测识别网络，进行关键帧中目标信息的检测与识别；步骤三、对步骤一获得的EO视频数据，基于光流信息进行非关键帧中目标信息的检测与识别；步骤四、对步骤二和步骤三得到的目标信息进行融合，关键帧目标直接输出目标检测、识别信息；非关键帧进行快速融合实现目标信息的快速确认。
[0016]在本公开实施例中，所述基于互信息量进行EO视频关键帧提取包括以下过程：对视频段进行初始分类后使用聚类的方法进行关键帧的提取；将关键视频段数据分为若干个子视频段，每个子视频段作为一类；在每一类中选取互信息量最大、最小和最接近该类中平均互信息量的一帧作为关键帧的候选帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机视频运动目标快速检测方法，其特征在于包括以下步骤：步骤一、获取EO视频数据；基于互信息量进行EO视频关键帧提取；利用视频序列帧间相关性，将视频序列拆解为关键帧与非关键帧的集合；步骤二、对步骤一获得的关键帧，基于卷积神经网络架构，构建目标的任务型快速检测识别网络，进行关键帧中目标信息的检测与识别；步骤三、对步骤一获得的EO视频数据，基于光流信息进行非关键帧中目标信息的检测与识别；步骤四、对步骤二和步骤三得到的目标信息进行融合，关键帧目标直接输出目标检测、识别信息；非关键帧进行快速融合实现目标信息的快速确认。2.根据权利要求1所述无人机视频运动目标快速检测方法，其特征在于：所述基于互信息量进行EO视频关键帧提取包括以下过程：对视频段进行初始分类后使用聚类的方法进行关键帧的提取；将关键视频段数据分为若干个子视频段，每个子视频段作为一类；在每一类中选取互信息量最大、最小和最接近该类中平均互信息量的一帧作为关键帧的候选帧；根据提取的候选关键帧之间时间上的距离，当每个类中互信息量最大与互信息量最小一帧的帧间间隔小于视频帧率时，选取最接近类平均互信息量的一帧作为关键帧，否则选择该两帧作为关键帧。3.根据权利要求1或2所述无人机视频运动目标快速检测方法，其特征在于：所述基于光流信息进行非关键帧中目标信息的检测与识别时，计算关键帧与非关键帧之...

【专利技术属性】
技术研发人员：刘腾飞，梁若飞，高净植，马泽亮，
申请(专利权)人：理工雷科电子西安有限公司，
类型：发明
国别省市：