一种面向边缘计算的河面采砂船及过往船只识别方法技术

本发明专利技术公开了一种面向边缘计算的河面采砂船及过往船只识别方法，该方法提出使用K

【技术实现步骤摘要】
一种面向边缘计算的河面采砂船及过往船只识别方法


[0001]本专利技术涉及一种计算机视觉目标识别领域，特别是涉及一种面向边缘计算的河面采砂船及过往船只识别方法。

技术介绍

[0002]目前，常规的视频监控系统是由航道两侧的摄像机进行监控，并采用人工方法进行视频内容的过滤和筛选，对航道信息进行统计。但该方法会使得人工成本骤增，同时监控检测效果也容易被人工主观因素所影响不同于道路视频监控，在内河航道监控视频中存在诸多干扰，包括光照因素、水面波动、水面倒影和船舶相互遮挡等，使得提取船舶目标变得困难，具体表现为背景干扰、水面干扰、船舶干扰等。采砂监控的任务主要包括是否有违法船只在违禁区域内采砂的检测和采砂是否对航道结构造成破坏的监测等。采用船舶视频监控系统对内河航道进行监控是防止船舶危险事故发生的有效手段之一，因此内河航道船舶视频监控系统受到了国内外学者和工业界的青睐。众多的学者和研究员在船舶目标检测和识别领域进行了大量的研究，但主要研究方向仍然集中于传统的目标检测算法。这些算法并不能很好的解决上述问题，在复杂的内河航道环境中鲁棒性较差，无法投入实际应用当中。
[0003]目前人工智能、深度学习等船舶动态监管信息化手段在水上交通流监管中的成功应用，为航道采砂相关船舶的动态监管提供了借鉴经验，因此将深度学习应用于河道采砂船及过程船只现场动态监管，在技术上具有可行性。本专利基于深度学习的河湖水面采砂船及过往船只的目标检测与识别算法，可以解决目前传统检测速度慢、正确率不高、需要依靠大量人工监视等缺点，更适合河湖区域部署边缘计算设备，实现了对于不同类型船舶检测以及对于非法采砂船的特征进行识别，并自动预警，降低人工监视的劳动强度，提升了采砂船及过往船只管理效率。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出一种基于改进YOLOv4
‑
tiny的面向边缘计算的河面采砂船及过往船只识别方法，采用YOLOv4
‑
tiny模型进行目标检测，在不减少检测帧率和少量增加参数量的情况下实现更高的检测精度，实现了河面采砂船及过往船只的自动化检测。
[0005]为了实现上述的目的，本专利技术采用以下技术方案：一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，所述方法包括以下步骤：S1、船舶图像数据集的收集与制作：收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，通过人工方式对船只数据集进行整理，从中筛选出画面清晰、易于分辨的符合要求的船只图片，利用图像标注软件labelimg对船只图像数据进行标注，结合公开船只数据集形成总的VOC格式的数据集，并按照9：1的比例划分训练验证集和测试集，在训练验证集中按照9：1的比例划分训练集和验证集。
[0006]S2、船只图像的预处理：利用数据翻转、图像缩放和添加噪声等数据增广的技术增加训练的船只数据量和提高船只训练数据集的复杂度，提高YOLOv4
‑
tiny模型的泛化能力；同时通过增加噪声数据的方式，提升YOLOv4
‑
tiny模型的鲁棒性；S3、先验框的生成：利用K
‑
Means聚类算法根据自制的船只目标检测数据集标签数据生成适用于特定船只数据集情形下的6个不同大小尺寸的先验框，分别分给输出不同特征层大小的两个YOLOHead，用此方法生成的先验框进行训练网络和进行预测可以达到更高的精度，聚类效果优秀，并且原理简单，易于实现，且收敛速度快；S4、改进网络的搭建：搭建基于改进YOLOv4
‑
tiny的河道采砂船及过往船只检测模型，将YOLOv4
‑
tiny主干网络中的基本卷积层中的LeakyReLU激活函数替换为SiLU激活函数，组成CBS卷积模块，形成新的主干特征提取网络；新的所述主干特征提取网络输出两种不同尺度的特征图；分别在YOLOv4
‑
tiny的主干网络的两个输出fea1和fea2后以及加强特征融合网络的上采样层和下采样层后加入SE注意力机制模块，SE注意力机制模块会关注通道之间的关系，模型可以自动学习到不同通道特征的重要程度；在FPN层后面加入自上而下的连接，形成PANet网络结构，有助于更好的提升对于小目标的检测效果；两种不同尺度的特征图分别通过各自对应的YOLOHead卷积块处理后进入船只分类预测、船只置信度预测和船只位置信息的预测；S5、改进YOLOv4
‑
tiny模型的训练：利用训练集对所述船只识别模型进行训练，使用验证集验证训练效果，更新权重或进行反向传播更新参数将损失函数降低到最小值，获取最优检测模型。
[0007]S6、目标检测识别：利用训练好的YOLOv4
‑
tiny模型对河面上的采砂船及过往船只进行检测，判断是否有船只，如果有船只则标记出船只的类别、位置大小和置信度；对测试集的检测结果进行检测精度和实时性评价，评价指标包括mAP（mean Average Precision）和FPS（Frames Per Second）。
[0008]进一步的，步骤S1具体过程如下：S1
‑
1、通过收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，包括采砂船、运砂船、客船、普通货船、渔船、集装箱船、散装货船七个不同分类的船只，通过人工方式对船只数据集进行整理，从中筛选出具有所需船舶目标且目标清晰、目标大小适中以及目标较为完整的图片，图片分为1920*1080和1440*900两种分辨率大小，对选取的图片进行编号，利用图片数据标记工具LabelImg标注船体目标，结合公开船只数据集形成总的VOC格式的数据集；S1
‑
2、利用数据标记工具LabelImg对船只图片进行标记生成格式为XML的标记文件,此XML文件包含了数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、色彩通道数还有所标注物体的类别、拍摄角度、是否被裁剪、是否容易被识别、物体的bbox等关键信息。
[0009]进一步的，步骤S4具体过程如下：用YOLOv4
‑
tiny主干特征网络提取传入网络图片的特征，并输出两个大小分别为feat1:（26，26，256）和feat2:（13，13，512）的有效特征层，传入加强特征提取网络当中进行PANet的构建；在YOLOv4
‑
tiny的FPN结构之后，加入PANet结构，具体的，将大小为（26，26，384）的
特征图经过一层输入通道数为384，输出通道数为256，卷积核大小为3*3，步长为2的卷积层进行下采样的的处理，以减小特征图的大小，输出大小为（13，13，256）的特征图；YOLOv4
‑
tiny主干特征提取网络的另一个输出feat2（13，13，512）经过一个卷积操作得到大小为（13，13，256）特征图，此特征图与上一步下采样得到的（13，13，256）的特征图进行通道维度的拼接操作，可以融合两个不同尺度的特征，得到大小为（13，13，512）的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，包括以下步骤：S1、船舶图像数据集的收集与制作：收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，通过人工方式对船只数据集进行整理，从中筛选出画面清晰、易于分辨的符合要求的船只图片，对船只图像数据进行标注，结合公开船只数据集形成总的VOC格式的数据集；S2、船只图像的预处理：利用数据增广的技术增加训练的船只数据量，提高YOLOv4
‑
tiny模型的泛化能力；同时通过增加噪声数据的方式，提升YOLOv4
‑
tiny模型的鲁棒性；S3、先验框的生成：利用K
‑
Means聚类算法根据自制的船只目标检测数据集标签数据生成适用于特定船只数据集情形下的6个不同大小尺寸的先验框，用于提高目标检测精度；S4、改进网络的搭建：搭建基于改进YOLOv4
‑
tiny的河道采砂船及过往船只检测模型，将YOLOv4
‑
tiny主干网络中的基本卷积层中的LeakyReLU激活函数替换为SiLU激活函数，组成CBS卷积模块，形成新的主干特征提取网络；新的主干特征提取网络输出两种不同尺度的特征图；分别在YOLOv4
‑
tiny的主干网络的两个输出fea1和fea2后以及加强特征融合网络的上采样层和下采样层后加入SE注意力机制模块，SE注意力机制模块会关注通道之间的关系，模型可以自动学习到不同通道特征的重要程度；在FPN层后面加入自上而下的连接，形成PANet网络结构；两种不同尺度的特征图分别通过各自对应的YOLOHead卷积块处理后进入船只分类预测、船只置信度预测和船只位置信息的预测；S5、改进YOLOv4
‑
tiny模型的训练：利用训练集对船只识别模型进行训练，使用验证集验证训练效果，更新权重，获取最优检测模型；S6、目标检测识别：利用训练好的改进YOLOv4
‑
tiny模型对河面上的采砂船及过往船只进行检测，判断是否有船只，如果有船只则标记出船只的类别、位置大小和置信度；对测试集的检测结果进行检测精度和实时性评价，评价指标包括mAP和FPS。2.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法，其特征在于，步骤S1具体过程如下：S1
‑
1、通过收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片，包括采砂船、运砂船、客船、普通货船、渔船、集装箱船、散装货船七个不同分类的船只，通过人工方式对船只数据集进行整理，从中筛选出具有所需船舶目标且目标清晰、目标大小适中以及目标较为完整的图片，图片分为1920*1080和1440*900两种分辨率大小，对选取的图片进行编号，利用图片数据标记工具LabelImg标注船体目标，结合公开船只数据集形成总的VOC格式的数据集；S1
‑
2、利用数据标记工具LabelImg对船只图片进行标记生成格式为XML的标记文件,此XML文件包含了数据集名称、图片的名称、存储路径、来源、尺寸、宽度和高度、色彩通道数还有所标注物体的类别、拍摄角度、是否被裁剪、是否容易被识别、...

【专利技术属性】
技术研发人员：许小华，包学才，王海菁，陈豹，张秀平，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：