一种能够减少水面光影干扰的目标检测方法技术

本发明专利技术涉及一种能够减少水面光影干扰的目标检测方法，包括以下步骤：获取受光影影响且包含目标物体的视频数据，并从所述视频数据中每隔N帧抽取出一帧；将抽取的图像帧按照每M帧拼接为一张新图片；在所述抽取的图像帧和拼接后的所述新图片中标出目标物体，得到训练数据；将训练数据放入深度学习模型中进行训练，得到水面漂浮物检测模型；将待检测的海面漂浮目标图片放入所述水面漂浮物检测模型中，得到目标的类别、位置以及置信度。本发明专利技术能够消减水面光影等因素对目标检测的干扰。水面光影等因素对目标检测的干扰。水面光影等因素对目标检测的干扰。

【技术实现步骤摘要】
一种能够减少水面光影干扰的目标检测方法


[0001]本专利技术涉及水面漂浮物视频检测
，特别是涉及一种能够减少水面光影干扰的目标检测方法。

技术介绍

[0002]随着海洋领域的开发愈加深入，将人工智能应用与海洋的技术也愈加广泛。因此可通过将深度学习模型应用于水面漂浮垃圾的检测，实现目标区域环境变化的长期监测。
[0003]由于水面波浪及其在阳光照射下会产生不规则的反光，在拍摄水面物体时，成像会受到光影干扰，形成波浪纹和光影图像，在使用AI目标检测时这些波浪和光影会严重影响目标检测精度。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种能够减少水面光影干扰的目标检测方法，能够消减水面光影等因素对目标检测的干扰。
[0005]本专利技术解决其技术问题所采用的技术方案是：提供一种能够减少水面光影干扰的目标检测方法，包括以下步骤：
[0006]获取受光影影响且包含目标物体的视频数据，并从所述视频数据中每隔N帧抽取出一帧；
[0007]将抽取的图像帧按照每M帧拼接为一张新图片；
[0008]在所述抽取的图像帧和拼接后的所述新图片中标出目标物体，得到训练数据；
[0009]将训练数据放入深度学习模型中进行训练，得到水面漂浮物检测模型；
[0010]将待检测的海面漂浮目标图片放入所述水面漂浮物检测模型中，得到目标的类别、位置以及置信度。
[0011]所述将抽取的图像帧按照每M帧拼接为一张新图片时，按照获取顺序进行拼接。
[0012]所述M满足M＝m2，其中，m为大于1的自然数。
[0013]所述在所述抽取的图像帧和拼接后的所述新图片中标出目标物体时，采用labelImg工具进行标记，标记的内容包括目标物体的位置和类别。
[0014]所述深度学习模型采用优化后的Yolov4
‑
Mobilenetv3模型，所述优化后的Yolov4
‑
Mobilenetv3模型将原始Yolov4模型中的CSPDarknet53特征提取网络替换为MobileNetv3网络，并在所述Mobilenetv3网络残差块的第8个块中引入SENet模块，并在第3、第5块中加入HS非线性激活函数。
[0015]有益效果
[0016]由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术通过选取视频帧并拼接的方法将多个间隔帧拼接在一张图片中，再将原本的单独帧与拼接后的图片都进行标记并放入深度学习模型进行训练，使深度学习模型对光影与目标的区分更加明显，以此达到消除光影干扰的目的；同时，相对于常见的3D模型，该方法
使用的是基于2D图片的模型识别方式，对硬件算力和内存要求都较少，可以适用于低算力平台。
附图说明
[0017]图1是本专利技术实施方式的流程图；
[0018]图2是本专利技术中抽取帧拼接后的效果图。
具体实施方式
[0019]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0020]本专利技术的实施方式涉及一种能够减少水面光影干扰的目标检测方法，如图1所示，包括以下步骤：获取受光影影响且包含目标物体的视频数据，并从所述视频数据中每隔N帧抽取出一帧；将抽取的图像帧按照每M帧拼接为一张新图片；在所述抽取的图像帧和拼接后的所述新图片中标出目标物体，得到训练数据；将训练数据放入深度学习模型中进行训练，得到水面漂浮物检测模型；将待检测的海面漂浮目标图片放入所述水面漂浮物检测模型中，得到目标的类别、位置以及置信度。
[0021]本实施方式运用间隔抽取视频帧，然后进行拼接成一张图片的方法消除光影影响。其原理是：在一段时间内的全部视频帧中，漂浮物目标是一直存在的，在不同帧之间具有连续性，而波浪和光影干扰是按一定变化频率出现在画面中，在分布上相隔超过一定时间两帧图像中呈现无规则分布的特点。因此，选取适当间隔时间的间隔帧拼接的图片中既包含有目标的连续信息，也包含波浪和光影随时间变化的无规律信息，将多个间隔帧拼接的图片放入模型中进行训练，可提高模型对光影特征的学习能力。同时，因光影与目标的同时存在也增加了模型对目标与光影的区别能力。
[0022]下面通过一个具体的实施例进一步说明本专利技术。
[0023]首先，运用Python对受光影影响且包含目标物体的视频进行读取，获取视频的帧数。接着将所读取视频每5帧取其一帧，并保存在数组中。待视频全部读取完成后，再用Python对保存在数组中的帧进行拼接，本实施例中每9帧进行一次拼接，即数组中每9个元素进行一次组合，具体方法包括运用Python新建一个尺寸为单帧图片三倍的RGB图层，然后将9帧按获取顺序粘贴在该图层上，其中拼接后的效果如图2所示。
[0024]根据所述拼接后的图片以及抽取的原始帧，将所述抽取的原始帧以及拼接后的新图片运用labelImg工具标记出其中的目标物体，即每个图片对应生成一个xml文件用于记录图片中目标物体的位置、类别等信息，得到训练数据。
[0025]根据所述标记好的训练数据，将其放入深度学习模型中进行训练，并保存训练结果最佳的模型，该模型即为水面漂浮物检测模型。本实施例中所用的深度学习模型为优化后的Yolov4
‑
Mobilenetv3模型，其中优化的步骤包括将原始YOLOv4中的CSPDarknet53特征提取网络替换为MobileNetv3网络，分别在Mobilenetv3网络残差块的第8个块中引入SENet模块，并在第3、第5块中加入HS非线性激活函数，以此提高特征提取的精度并降低网络计算
量。
[0026]将随机获取的水面漂浮目标图片或视频放入所述水面漂浮物检测模型中进行测试，本实施例中以目标检测模型常用的评价指标对水面漂浮物检测模型进行测试，其中测试结果如表1和表2所示。
[0027]表1模型整体评价指标
[0028]ModelmAPFPSModelsize(M)Yolov4
‑
Mobilenetv3(pre)86.14％5353.8Yolov4
‑
Mobilenetv3(lat)91.75％5253.8
[0029]表2模型详细评价结果
[0030][0031]由上述两个模型评价对比结果表可知，在运用了本实施例所述的间隔取帧并拼接的方法后，优化后模型在测试数据集上的mAP值高达91.75％，且模型的FPS达到了52，模型的大小只有53.8M。此外，在具体的目标检测效果上，运用本实施例间隔取帧并拼接的方法方法的模型，其在具体分类上准确率，召回率以及F1值全部高于原始的方法，由表2可知，使用本方法后，全部评价指标值均高于未用本方法之前。
[0032]不难发现，本专利技术从包含目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种能够减少水面光影干扰的目标检测方法，其特征在于，包括以下步骤：获取受光影影响且包含目标物体的视频数据，并从所述视频数据中每隔N帧抽取出一帧；将抽取的图像帧按照每M帧拼接为一张新图片；在所述抽取的图像帧和拼接后的所述新图片中标出目标物体，得到训练数据；将训练数据放入深度学习模型中进行训练，得到水面漂浮物检测模型；将待检测的海面漂浮目标图片放入所述水面漂浮物检测模型中，得到目标的类别、位置以及置信度。2.根据权利要求1所述的能够减少水面光影干扰的目标检测方法，其特征在于，所述将抽取的图像帧按照每M帧拼接为一张新图片时，按照获取顺序进行拼接。3.根据权利要求1所述的能够减少水面光影干扰的目标检测方法，其特征在于，所述M满足M＝m2，其中，m为大于1的自然数。4....

【专利技术属性】
技术研发人员：戴阳，韦波，王斐，郑汉丰，张衡，伍玉梅，杨胜龙，贺刘刚，何瑞麟，
申请(专利权)人：中国水产科学研究院东海水产研究所，
类型：发明
国别省市：