一种基于边缘智能的无人机视频帧过滤方法及装置制造方法及图纸

本发明专利技术提供一种基于边缘智能的无人机视频帧过滤方法及装置，方法包括：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端，解决了数据传输量过大导致时延长与丢失目标帧等问题，在保证目标精度的前提下，提升了目标检测速度。提升了目标检测速度。提升了目标检测速度。

【技术实现步骤摘要】
一种基于边缘智能的无人机视频帧过滤方法及装置


[0001]本专利技术涉及计算机
，特别涉及一种基于边缘智能的无人机视频帧过滤方法及装置。

技术介绍

[0002]随着人工智能技术发展以及无人机应用需求提高，将卷积神经网络(Convolutional Neural Networks，CNN)应用于无人机目标检测得到了广泛应用。在无人机上使用CNN进行目标检测，自动识别航拍图像中的目标，可以提高效率，但是CNN模型参数多、数据传输量和计算量都较大，部署在云端会导致时延长、云服务器压力大；部署在无人机端会导致精度低、能耗高等问题。
[0003]现有的无人机航拍视频大多分辨率较高，如果将精度高、参数量大的模型直接处理视频所有的帧，是对计算和存储资源的浪费。为了解决这一问题，目前主要采用等间隔提取帧或者采用降低视频帧率的方法来减少视频数据量，但是这类方法很有可能丢弃目标帧或者造成目标检测精度下降。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种基于边缘智能的无人机视频帧过滤方法及装置，将相似度融合算法、轻量级超分辨率模型FALSR以及Yolo_shuffleNet检测算法部署在无人机端，YOLO检测算法部署在云端，对无人机目标进行检测，解决了数据传输量过大导致时延长与丢失目标帧等问题，在保证目标精度的前提下，提升了目标检测速度，保证了边云协同快速目标检测。
[0005]第一方面，本专利技术提供了一种基于边缘智能的无人机视频帧过滤方法，包括以下步骤：
[0006]步骤1、在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；
[0007]步骤2、将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；
[0008]步骤3、将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；
[0009]步骤4、将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端。
[0010]进一步地，所述步骤1进一步具体为：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；从无人机视频数据集中提取每帧图像，分别输入到Yolo_ShuffleNet和YOLO中，进行模型迁移训练，保证分类精度。
[0011]进一步地，所述步骤2中相似度融合算法为基于投票机制的相似度融合算法，具体包括：
[0012]所述基于投票机制的相似度融合算法包括：相似与不相似；根据基于投票机制的相似度融合算法求出相似度进行投票，根据算法求出的结果不相似的个数大于相似的个数时，则将此帧提取，否则将此帧过滤；计算相似度算法包括：EMD距离算法以及结构相似度算法，用于计算相邻两帧间相似度；
[0013]定义初始相似度阈值，判断相似度大小，若两种算法计算出来的相似度均大于初始相似度阈值，将此帧过滤；
[0014]若否，则判断两算法相似度是否均小于初始相似度阈值，若是则将此帧保存，若否，则通过融合感知哈希算法计算相似度，并设定第二相似度阈值，若感知哈希相似度大于第二相似度阈值，则将此帧进行过滤；若感知哈希相似度小于等于第二相似度阈值，将此帧保存。
[0015]进一步地，所述步骤4进一步具体为：
[0016]轻量级目标检测模型Yolo_ShuffleNet利用YOLOv3的结构，将YOLOv3主干网络替换为ShuffleNetv2；将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，进行再次过滤，判断图中是否有目标，当检测目标对象为0时，过滤无目标帧；当检测图中含有目标对象时，将此帧传输到云端。
[0017]进一步地，还包括步骤5、将步骤4中得到的视频帧，输入到部署在云端的目标检测模型YOLO，进行目标检测。
[0018]第二方面，本专利技术提供了一种基于边缘智能的无人机视频帧过滤装置，包括以下模块：
[0019]部署模块，在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；
[0020]过滤模块，将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；
[0021]重构模块，将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；
[0022]重过滤模块，将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端。
[0023]进一步地，所述部署模块进一步具体为：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；从无人机视频数据集中提取每帧图像，分别输入到Yolo_ShuffleNet和YOLO中，进行模型迁移训练，保证分类精度。
[0024]进一步地，所述过滤模块中相似度融合算法为基于投票机制的相似度融合算法，具体包括：
[0025]所述基于投票机制的相似度融合算法包括：相似与不相似；根据基于投票机制的相似度融合算法求出相似度进行投票，根据算法求出的结果不相似的个数大于相似的个数时，则将此帧提取，否则将此帧过滤；计算相似度算法包括：EMD距离算法以及结构相似度算法，用于计算相邻两帧间相似度；
[0026]定义初始相似度阈值，判断相似度大小，若两种算法计算出来的相似度均大于初始相似度阈值，将此帧过滤；
[0027]若否，则判断两算法相似度是否均小于初始相似度阈值，若是则将此帧保存，若
否，则通过融合感知哈希算法计算相似度，并设定第二相似度阈值，若感知哈希相似度大于第二相似度阈值，则将此帧进行过滤；若感知哈希相似度小于等于第二相似度阈值，将此帧保存。
[0028]进一步地，所述重过滤模块进一步具体为：
[0029]轻量级目标检测模型Yolo_ShuffleNet利用YOLOv3的结构，将YOLOv3主干网络替换为ShuffleNetv2；将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，进行再次过滤，判断图中是否有目标，当检测目标对象为0时，过滤无目标帧；当检测图中含有目标对象时，将此帧传输到云端。
[0030]进一步地，还包括目标检测模块，将重过滤模块中得到的视频帧，输入到部署在云端的目标检测模型YOLO，进行目标检测。
[0031]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0032]1.本专利技术将CNN模型分别部署在资源受限的无人机边缘设备和云端，边云协同进行快速目标检测，降低时延、成本等，解决了无人机边缘设备和云端数据传输量过大导致时延长等问题；2.采用基于投票机制的相似度融合算法，过滤掉相似帧，减少数据传输量的同时尽可能保证了不丢失含目标的视频帧，保证检测精度；3.对于无人机图像，普遍有目标较小、分辨率较低等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘智能的无人机视频帧过滤方法，其特征在于：包括以下步骤：步骤1、在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；步骤2、将采集到的无人机视频数据使用相似度融合算法初步过滤，得到过滤后的视频帧；步骤3、将过滤后的视频帧输入到轻量级图像超分辨率模型FALSR中，得到超分辨率视频帧；步骤4、将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，对视频帧再次进行过滤，过滤掉无目标对象帧，之后上传至云端。2.根据权利要求1所述的一种基于边缘智能的无人机视频帧过滤方法，其特征在于：所述步骤1进一步具体为：在无人机端部署轻量级超分辨率模型FLASR和轻量级目标检测模型Yolo_ShuffleNet；从无人机视频数据集中提取每帧图像，分别输入到Yolo_ShuffleNet和YOLO中，进行模型迁移训练，保证分类精度。3.根据权利要求1所述的一种基于边缘智能的无人机视频帧过滤方法，其特征在于：所述步骤2中相似度融合算法为基于投票机制的相似度融合算法，具体包括：所述基于投票机制的相似度融合算法包括：相似与不相似；根据基于投票机制的相似度融合算法求出相似度进行投票，根据算法求出的结果不相似的个数大于相似的个数时，则将此帧提取，否则将此帧过滤；计算相似度算法包括：EMD距离算法以及结构相似度算法，用于计算相邻两帧间相似度；定义初始相似度阈值，判断相似度大小，若两种算法计算出来的相似度均大于初始相似度阈值，将此帧过滤；若否，则判断两算法相似度是否均小于初始相似度阈值，若是则将此帧保存，若否，则通过融合感知哈希算法计算相似度，并设定第二相似度阈值，若感知哈希相似度大于第二相似度阈值，则将此帧进行过滤；若感知哈希相似度小于等于第二相似度阈值，将此帧保存。4.根据权利要求1所述的一种基于边缘智能的无人机视频帧过滤方法，其特征在于：所述步骤4进一步具体为：轻量级目标检测模型Yolo_ShuffleNet利用YOLOv3的结构，将YOLOv3主干网络替换为ShuffleNetv2；将超分辨率视频帧输入到轻量级目标检测模型Yolo_ShuffleNet，进行再次过滤，判断图中是否有目标，当检测目标对象为0时，过滤无目标帧；当检测图中含有目标对象时，将此帧传输到云端。5.根据权利要求1所述的一种基于边缘智能的无人机视频帧过滤方法，其特征在于：还包括步骤5、将步骤4中得到的视频帧，输入到部署在云端的目标检测模型YOLO，进行目标检测。6.一种基于边缘智能的无人机...

【专利技术属性】
技术研发人员：马昕，张维纬，陶英杰，周密，周宏波，余浩然，姜立彧，
申请(专利权)人：福建创享蓝途科技发展有限公司，
类型：发明
国别省市：