复杂低空环境下一种协同监视方法与装置制造方法及图纸

技术编号:20390432 阅读:22 留言:0更新日期:2019-02-20 03:04
本发明专利技术公开了复杂低空环境下一种协同监视方法与装置,属于航空监视领域。该装置包括无人机无人值守前端设备、远程控制中心、数据处理模块、算法模块和处理中心。首先将M个水平监视区域和N个垂直监视区域划分成训练集和测试集;然后选取当前视频,抽取6帧图像作为当前视频的原始基本图像Io1~I06进行处理获得帧差图像。对基本图像和帧差图像进行融合得到图像基本特征和运动特征,并进行拼接和二分类得到该运动目标的结果标签。重复上述过程得到所有训练集中该运动目标的结果标签。测试集通过融合模型输出该运动目标的结果标签。对所有测试集的结果标签进行投票,确定是否有该运动目标。本发明专利技术减少视频帧冗余问题,提高了分类精度和采集效率。

【技术实现步骤摘要】
复杂低空环境下一种协同监视方法与装置
本专利技术属于航空监视领域,具体是复杂低空环境下一种协同监视方法与装置。
技术介绍
复杂低空环境指飞行高度低、飞行器种类繁多且飞行区域复杂的环境,其监视易受地形,气象因素和障碍物的影响,现有的空管监视技术难以保障低空飞行时的监视能力。并且,传统的低空监视系统建设与维护成本高,在实际应用中难以推广。随着近年来国家对低空领域使用的不断开放,无人机经常被用来辅助执行低空监视任务。无人机通过携带的摄像头采集监视场景中的图像数据,运用计算机视觉的技术进行智能分析与处理,对监控场景内的情况进行判断,从而实现自主巡检。由于复杂低空环境中,飞行区域复杂,障碍物繁多,单个飞行器在飞行过程中采集的数据不够充分,随着空域监视技术的发展,监视模式从独立工作模式向协同工作模式发展,多个飞行器的协同工作为复杂低空环境下的监视提供了可行的方案。并且,由于复杂低空环境中,飞行器飞行高度较低,不同位置的飞行器采集的图片数据具有不同尺度,造成无人机拍摄的视频中运动目标特征(如人,车,飞鸟等运动目标)不易提取,分类困难,以上问题都对复杂低空环境下对运动目标的监视提出了严酷的挑战。
技术实现思路
本专利技术针对现有复杂低空环境下,多个飞行器协作困难和运动目标特征不易提取的问题,提供了复杂低空环境下一种协同监视方法与装置,用于提高分类精度。所述的协同监视方法,具体步骤如下:步骤一、针对复杂低空环境,根据地形划分M个水平监视区域,同时根据采集范围划分N个垂直监视区域。垂直监视区域按照飞行高度划分,每个水平区域有N个垂直飞行的无人机,整个监视范围内有M*N个无人机。每个运动目标在水平监视区域中能采集到M个监视视频,每个水平监视区域内都有N个监视视频;步骤二、针对某个运动目标,将M个监视视频,或者每个水平监视区域内的N个监视视频分别划分成训练集和测试集;针对M个监视视频或者某个监视区域的N个训练视频,取80%做训练集,20%做测试集;步骤三、依次选取训练集中的每个视频作为当前视频,将当前视频逐帧分为6段,在每段视频中除去首帧后随机抽取1帧,将抽取的6帧图像作为当前视频的原始基本图像Io1~I06。步骤四、对当前视频的原始基本图像进行处理获得帧差图像。针对每帧基本图像Ioi,i=1,2,3,4,5,6;各自与自己同段内的前一帧图像做差,获得帧差图像Id1~Id6:为同段内的基本图像Ioi的前一帧图像。步骤五、对基本图像和帧差图像,通过VGG网络融合模型得到图像基本特征和运动特征。VGG网络包含十六个卷积层,十六个池化层,三个全连接层和一个softmax层,每个卷积层后面接着一个池化层。将基本图像Io1~Io6输入VGG网络,依次经过卷积层,池化层和全连接层,分别得到特征大小是1*1000的fo1~f06;通过求和方法,求得融合后的图像基本特征f0:f0=fo1+fo2+...+f06同时,将帧差图像Id1~Id6输入VGG网络,依次经过卷积层,池化层和全连接层,分别得到特征大小是1*1000的fd1~fd6;通过求和方法,获得融合后的运动特征fd:fd=fd1+fd2+...+fd6步骤六、对融合后的图像基本特征f0和运动特征fd进行拼接,通过融合模型的softmax层进行二分类,得到该运动目标的结果标签。将两个大小1*1000的特征fd和f0进行特征融合,直接拼接成1*2000的特征F;F=Concatenate(f0,fd)将融合后的拼接特征F通过softmax层,得到有或没有该运动目标的二分类概率,最终根据概率得到该运动目标的结果标签。步骤七、返回步骤三,选取训练集中的下一个视频通过融合模型进行二分类训练,直至得到所有训练集中该运动目标的结果标签。针对该运动目标,M个水平监视视频的二分类结果标签为有或没有,每个水平监视区域内的N个监视视频的二分类结果标签为有或没有。步骤八、将测试集中每帧视频分别通过训练好的融合模型中,输出该运动目标的结果标签。步骤九、对所有测试集的结果标签进行投票,确定最终有或者没有该运动目标。所述的协同监视装置,包括无人机无人值守前端设备、远程控制中心、数据处理模块、算法模块和处理中心。远程控制中心设置了无人机飞行周期,飞行高度,飞行时间以及确定采集视频数据的类型。无人机无人值守前端设备通过携带摄像头,按照地面远程控制中心发送的命令采集复杂低空环境运动目标的视频,并发送给数据处理模块对采集的视频进行分类。算法模块计算原始基本图像和帧差图像,并训练VGG网络融合模型,得到运动目标的二分类概率以及确定结果标签,处理中心将分类结果反馈给监测人员,进行后续工作。本专利技术的优点在于:1)、复杂低空环境下一种协同监视方法,解决了视频中运动目标特征(如人,车,飞鸟等运动目标)不易提取的问题,同时减少视频帧冗余问题,提高了分类精度。2)、复杂低空环境下一种协同监视方法,通过划分监视区域解决了复杂低空环境中飞行器采集图片困难的问题,提高了采集效率。3)、复杂低空环境下一种协同监视装置,通过无人机和后端处理模块配合,有效监视环境,提高了监视效率。附图说明图1为本专利技术复杂低空环境下一种协同监视方法流程图;图2为本专利技术复杂低空环境下一种协同监视的装置图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术提供了复杂低空环境下一种协同监视方法与装置,用于对无人机拍摄的视频中运动目标进行分类,对后续的目标检测和追踪等任务有重大意义。具体过程为:首先,划分水平监视区域和垂直监视区域。然后获取待分类视频,提取基本图像,并对基本图像进行处理获得帧差图像。进一步对基本图像和帧差图像通过卷积神经网络提取图像基本特征和运动特征集合。再对融合后的图像基本特征和运动特征进行拼接和分类。最后对水平监视区域和垂直监视区域的分类结果进行投票。如图1所示,具体步骤如下:步骤一、针对复杂低空环境,根据地形划分M个水平监视区域,同时根据采集范围划分N个垂直监视区域。复杂低空环境中障碍物繁多,使用单个无人机无法采集全景数据。根据地形划分水平监视区域为M个,使用M架无人机分别对M个区域进行监视。水平监视区域获得的M路图像数据是监视范围中不同区域的数据。垂直监视区域按照飞行高度划分,因同一型号的无人机不同高度采集的数据像素范围不同。每个水平区域有N个垂直飞行的无人机,整个监视范围内有M*N个无人机。每个运动目标在水平监视区域中能采集到M个监视视频,每个水平监视区域内都有N个监视视频;步骤二、针对某个运动目标,将M个监视视频,或者每个水平监视区域内的N个监视视频分别划分成训练集和测试集;对每个无人机获取待分类视频,按照运动目标的情况分类整理数据。每个监视区域只对区域内进行二分类,例如有人没人,有车没车。如果监视区域内有i个运动目标(人,车,鸟等),就对该无人机采集地视频分别训练i次,得到i个二分类地分类结果。每次训练,对分类好的视频数据,取80%做训练集,20%做测试集。步骤三、依次选取训练集中的每个视频作为当前视频,将当前视频逐帧分为6段,在每段视频中除去首帧后随机抽取1帧,将抽取的6帧图像作为当前视频的原始基本图像Io1~I06。将分类好的视频逐帧分段,分为6段,假设原始视频有L帧,则每段视频包括L/6帧图像,然后每段视频随机抽取本文档来自技高网...

【技术保护点】
1.复杂低空环境下一种协同监视方法,其特征在于,具体步骤如下:步骤一、针对复杂低空环境,根据地形划分M个水平监视区域,同时根据采集范围划分N个垂直监视区域;垂直监视区域按照飞行高度划分,每个水平区域有N个垂直飞行的无人机,整个监视范围内有M*N个无人机;每个运动目标在水平监视区域中能采集到M个监视视频,每个水平监视区域内都有N个监视视频;步骤二、针对某个运动目标,将M个监视视频,或者每个水平监视区域内的N个监视视频分别划分成训练集和测试集;步骤三、依次选取训练集中的每个视频作为当前视频,将当前视频逐帧分为6段,在每段视频中除去首帧后随机抽取1帧,将抽取的6帧图像作为当前视频的原始基本图像Io1~I06;步骤四、对当前视频的原始基本图像进行处理获得帧差图像;针对每帧基本图像Ioi,i=1,2,3,4,5,6;各自与自己同段内的前一帧图像做差,获得帧差图像Id1~Id6:

【技术特征摘要】
1.复杂低空环境下一种协同监视方法,其特征在于,具体步骤如下:步骤一、针对复杂低空环境,根据地形划分M个水平监视区域,同时根据采集范围划分N个垂直监视区域;垂直监视区域按照飞行高度划分,每个水平区域有N个垂直飞行的无人机,整个监视范围内有M*N个无人机;每个运动目标在水平监视区域中能采集到M个监视视频,每个水平监视区域内都有N个监视视频;步骤二、针对某个运动目标,将M个监视视频,或者每个水平监视区域内的N个监视视频分别划分成训练集和测试集;步骤三、依次选取训练集中的每个视频作为当前视频,将当前视频逐帧分为6段,在每段视频中除去首帧后随机抽取1帧,将抽取的6帧图像作为当前视频的原始基本图像Io1~I06;步骤四、对当前视频的原始基本图像进行处理获得帧差图像;针对每帧基本图像Ioi,i=1,2,3,4,5,6;各自与自己同段内的前一帧图像做差,获得帧差图像Id1~Id6:为同段内的基本图像Ioi的前一帧图像;步骤五、对基本图像和帧差图像,通过VGG网络融合模型得到图像基本特征和运动特征;将基本图像Io1~Io6输入VGG网络,依次经过卷积层,池化层和全连接层,分别得到特征大小是1*1000的fo1~f06;通过求和方法,求得融合后的图像基本特征f0:f0=fo1+fo2+...+f06同时,将帧差图像Id1~Id6输入VGG网络,依次经过卷积层,池化层和全连接层,分别得到特征大小是1*1000的fd1~fd6;通过求和方法,获得融合后的运动特征fd:fd=fd1+fd2+...+fd6步骤六、对融合后的图像基本特征f0和运动特征fd进行拼接,通过融合模型的softmax层进行二分类,得到该运动目标的结果标签;将两个大小1*1000的特征fd和f...

【专利技术属性】
技术研发人员:曹先彬甄先通李岩张安然胡宇韬
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1