【技术实现步骤摘要】
本专利技术涉及一种基于目标检测与跟踪的非法捕鱼检测方法，属于图像识别。
技术介绍
1、非法捕鱼行为不仅仅包括乘船在禁捕水面上非法捕捞，更多的是发生在禁捕河道的两侧，许多行人在禁捕河道两侧以手持钓竿或撒网的形式进行非法捕鱼。该行为具有更高的隐蔽性和复杂性，使得它往往难以被发现和打击。因此，一些新技术和方法被开发出来，用于检测和预警非法捕鱼行为。
2、例如，采用普通目标检测算法实现检测非法捕鱼，通过括采集监控水域视频，得到多帧图片组，将多帧图片组输入卷积神经网络，提取图片特征并生成特征图。利用ssd网络6层的特征图，在特征图的每个点生成默认框。将每个默认框与真实标签框匹配，通过非极大值抑制筛选，得到具有最终目标区域的目标定位图片，将目标定位图片输入行为识别模型，判断其是否为非法捕鱼行为。
3、但是，上述方法存在以下问题：
4、1)数据量过少，该技术通过对原始视频直接抽帧处理，仅仅使用现场的真实数据，需要采集大量的监控水域视频数据，需要大量的时间和人力成本。此外，河道边非法捕鱼行为的数据相对于其他场景的数据而言相对稀少，导致实际数据量较小，很大程度上会影响模型的训练效果和泛化能力。
5、2)误判率高，该技术采用简单的卷积神经网络和行为识别模型进行非法捕鱼行为识别，该模型卷积层数太少，无法准确提取特征，精确度不高；此外，实际现场情况较为多样，如果一些路人只是带着渔具经过禁捕区的监控区域，使用该方案依然会被误检为非法捕鱼行为，增大计算成本，同时增加误判率。
6、3)冗余计算：该技
7、上述问题是在基于目标检测与跟踪的非法捕鱼报警过程中应当予以考虑并解决的问题。
技术实现思路
1、本专利技术的目的是提供一种基于目标检测与跟踪的非法捕鱼检测方法解决现有技术中存在的数据量过少，同时误判率和计算量较大，识别准确度有待提高的问题。
2、本专利技术的技术解决方案是：
3、一种基于目标检测与跟踪的非法捕鱼检测方法，包括以下步骤，
4、s1、获取实际禁捕河边监控视频数据作为原始数据，将原始数据分为测试视频数据和训练视频数据；对训练视频数据进行数据增强操作，得到增强操作后的数据集；
5、s2、对增强操作后的数据集进行数据标注，标注出图片中岸边的行人作为标签，得到训练集；
6、s3、构建用于行人目标检测的yolov5-plus模型，使用训练集对用于行人目标检测的yolov5-plus模型进行训练，经过设定的训练次数后，得到用于行人目标检测的yolov5-plus模型的权重文件，获得训练后的用于行人目标检测的yolov5-plus模型；
7、s4、使用得到的权重文件对步骤s1中的测试视频数据进行测试，得到行人检测结果，将行人检测结果输入deepsort多目标跟踪模型对行人进行跟踪，得到相应的行人id以及位置信息；
8、s5、根据行人id和每个行人id在视频中的位置变化信息判定是否为异常行为；
9、s6、将步骤s5中异常行为的图像帧以及对应的行人id作为非法捕鱼判别模型的输入，判定是否存在非法捕鱼行为。
10、进一步地，步骤s1中，对训练视频数据进行数据增强操作，得到增强操作后的数据集，具体为，对训练视频数据进行抽帧处理，每秒抽取设定数量的帧，得到原始真实图像；然后使用随机缩放、随机亮度调整技术对图片进行数据增强操作，得到增强操作后的数据集。
11、进一步地，步骤s3中，用于行人目标检测的yolov5-plus模型包括骨干特征提取模块、特征融合模块、自注意力模块即transformer模块、swish激活函数模块和检测模块，
12、骨干特征提取模块：对输入的图片进行特征提取；
13、特征融合模块：用于对进行backbone特征提取模块提取的特征进行融合；
14、transformer模块：对neck模块融合后的特征，学习长距离依赖关系，并输出学习后得到的三维张量给swish激活函数模块；
15、swish激活函数模块：对transformer模块的输出进行转换，转换为0～1范围之内后，输出给detect模块；
16、检测模块：进行检测，获得目标。
17、进一步地，步骤s4中，位置信息为检测框左上和右下的像素坐标。
18、进一步地，步骤s5中，根据行人id和每个行人id在视频中的位置变化信息判定是否为异常行为，具体为，
19、s51、每隔设定数量的帧抽取一帧图像作为判定异常行为的前后者图像帧，记录前后者图像帧中行人的编号和位置信息；
20、s52、计算前后者图像帧中行人的位置信息变化；
21、s53、在位置信息变化大于阈值s，则判定行人id为正常行为，不对该行人id进行后续非法捕鱼行为的判定；在位置信息变化小于阈值s时，则判定为异常行为。
22、进一步地，步骤s52中，计算前后者图像帧中行人的位置信息变化，具体为，采用欧氏距离，以行人检测框下边线的中点作为监测点，假设前后者图像帧行人检测框下边线的中点分别为t1(x1,y1)和t2(x2,y2)，点t1(x1,y1)和t2(x2,y2)两个点的欧式距离：ωt1,t2＝[(x1-x2)2+(y1-y2)2]1/2。其中，x1为点t1的横坐标，y1为点t1的纵坐标，x2为点t2横坐标，y2为点t2的纵坐标。
23、进一步地，步骤s6中，非法捕鱼判别模型使用预训练的卷积神经网络模型resnet50，判定是否存在渔具，在存在渔具时，判定为存在非法捕鱼行为。
24、进一步地，步骤s6中，在判定为存在非法捕鱼行为时，则触发预警机制，将测试视频数据、行人id以及行人的位置信息写入到报警日志中。
25、本专利技术的有益效果是：该种基于目标检测与跟踪的非法捕鱼检测方法，与现有技术相比，使用数据增强技术，扩大数据集，能够增加模型的鲁棒性和泛化能力；使用改进的yolov5模型以及跟踪算法deepsort，能够特征提取效果更好，识别准确度更高，同时对移动的目标以及非行人目标不进行检测，极大的降低误判率并减少不必要的计算。
本文档来自技高网...【技术保护点】
1.一种基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：包括以下步骤，
2.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S1中，对训练视频数据进行数据增强操作，得到增强操作后的数据集，具体为，对训练视频数据进行抽帧处理，每秒抽取设定数量的帧，得到原始真实图像；然后使用随机缩放、随机亮度调整技术对图片进行数据增强操作，得到增强操作后的数据集。
3.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S3中，用于行人目标检测的YOLOv5-plus模型包括骨干特征提取模块、特征融合模块、自注意力模块即Transformer模块、Swish激活函数模块和检测模块，
4.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S4中，位置信息为检测框左上和右下的像素坐标。
5.如权利要求1-4任一项所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S5中，根据行人id和每个行人id在视频中的位置变化信息判定是否为异常行为，具体为，
6.如权利要求5所述的
7.如权利要求1-4任一项所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S6中，非法捕鱼判别模型使用预训练的卷积神经网络模型ResNet50，判定是否存在渔具，在存在渔具时，判定为存在非法捕鱼行为。
8.如权利要求1-4任一项所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤S6中，在判定为存在非法捕鱼行为时，则触发预警机制，将测试视频数据、行人id以及行人的位置信息写入到报警日志中。
...【技术特征摘要】
1.一种基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：包括以下步骤，
2.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤s1中，对训练视频数据进行数据增强操作，得到增强操作后的数据集，具体为，对训练视频数据进行抽帧处理，每秒抽取设定数量的帧，得到原始真实图像；然后使用随机缩放、随机亮度调整技术对图片进行数据增强操作，得到增强操作后的数据集。
3.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤s3中，用于行人目标检测的yolov5-plus模型包括骨干特征提取模块、特征融合模块、自注意力模块即transformer模块、swish激活函数模块和检测模块，
4.如权利要求1所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤s4中，位置信息为检测框左上和右下的像素坐标。
5.如权利要求1-4任一项所述的基于目标检测与跟踪的非法捕鱼检测方法，其特征在于：步骤s5中，根据行人id和每个行人id在视频中的位置变化信息判定是否为异常...
【专利技术属性】
技术研发人员：董振江，王星宇，周扬，董建阔，亓晋，孙雁飞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。