【技术实现步骤摘要】
本专利技术属于深度学习目标检测，尤其涉及一种鱼类增殖放流作业监测方法、设备、存储介质及计算机程序产品。
技术介绍
1、水能作为一种可再生能源，是绿色能源发展的重要组成部分。水电站建设会阻断河流，对上下游生态，特别是鱼类洄游会造成不利影响。为了减少这些不利影响，水电站在建设运营期间做了大量生态修复工作，其中之一便是开展鱼类增殖放流，即在水库下游捕获鱼类并进行培育、增殖，然后到水库上游放流。
2、在鱼类放流过程中，需要使用运鱼船将鱼运输到上游合适河段放生。有些工作人员直接在河岸进行鱼类放流，没有使用运鱼船进行放流，导致鱼类放流操作不规范，影响鱼类增殖效果。
技术实现思路
1、本专利技术的目的在于提供一种鱼类增殖放流作业监测方法、设备、存储介质及计算机程序产品，以监督鱼类放流操作，改善鱼类放流操作不规范导致鱼类增殖效果不佳的问题。
2、本专利技术是通过如下的技术方案来解决上述技术问题的：一种鱼类增殖放流作业监测方法，包括以下步骤：
3、获取港口的视频流，对所述视频流的视频帧进行船舶检测和分类，得到每个视频帧中运鱼船目标框的数量和坐标；
4、根据视频帧中运鱼船目标框的数量和坐标判断时刻t是否发生运鱼船进出港事件；若是，则将对应的视频帧合成视频并保存，同时记录运鱼船进出港数量和进出港时间；
5、获取鱼类放流时间，判断所述鱼类放流时间是否在运鱼船进出港时间内，若是，则判定为规范放流，否则判定为非规范放流。
6、进一步地，对
7、构建第一样本数据集，所述第一样本数据集包括多个第一样本数据，每个第一样本数据包括船舶图像以及船舶标签；构建船舶检测模型，利用所述第一样本数据集对船舶检测模型进行训练和验证，得到训练好的船舶检测模型；
8、构建第二样本数据集，所述第二样本数据集包括多个第二样本数据，每个第二样本数据包括不同类型的船舶图像以及运鱼船标签，所述类型包括运鱼船；构建船舶分类模型，利用所述第二样本数据集对船舶分类模型进行训练和验证，得到训练好的船舶分类模型；
9、利用训练好的船舶检测模型对所述视频流的视频帧进行船舶检测，得到船舶目标框；利用训练好的船舶分类模型对所述船舶目标框进行分类，得到每个视频帧中运鱼船目标框的数量和坐标。
10、进一步地，所述船舶检测模型采用yolov5模型或yolov3模型；所述船舶分类模型采用resnet50_vd模型。
11、进一步地，在利用训练好的船舶检测模型对所述视频流的视频帧进行船舶检测之前，还对所述视频流的视频帧进行预处理，所述预处理具体包括：
12、根据每个视频帧的场景设置对应的mask，mask与视频帧一一对应，且mask是一个由0和1构成的二维矩阵，所述二维矩阵中的1对应视频帧的水域，所述二维矩阵中的0对应视频帧的非水域；
13、对所述视频流的视频帧进行滤波和数据增强增广处理；
14、将处理后的视频帧与对应的mask进行逐元素相乘，得到仅包含水域的视频帧；
15、利用训练好的船舶检测模型对视频帧的水域进行船舶检测。
16、进一步地，根据视频帧中运鱼船目标框的数量和坐标判断时刻t是否发生运鱼船进出港事件，具体包括：
17、计算时刻t和时刻t－1的运鱼船在港数量，具体公式为：
18、nt＝(nt+nt-1+…+nt-m+1)/m；
19、nt-1＝(nt-1+nt-2+…+nt-m)/m；
20、其中，nt表示时刻t的运鱼船在港数量，(nt+nt-1+…+nt-m+1)/m表示以时刻t为起点的前m个视频帧中运鱼船目标框的数量的平均值，nt表示时刻t对应的视频帧中运鱼船目标框的数量，nt-1表示时刻t的前1个视频帧中运鱼船目标框的数量；nt-1表示时刻t－1的运鱼船在港数量，(nt-1+nt-2+…+nt-m)/m表示以时刻t－1为起点的前m个视频帧中运鱼船目标框的数量的平均值；
21、根据时刻t和时刻t－1的运鱼船在港数量以及视频帧中运鱼船目标框的坐标判断是否发生运鱼船进出港事件。
22、进一步地，根据时刻t和时刻t－1的运鱼船在港数量以及视频帧中运鱼船目标框的坐标判断是否发生运鱼船进出港事件，具体包括：
23、判断是否存在xl＜d1或xl＞d2或yl＜h1或yl＞h2，其中，(xl,yl)表示视频帧中运鱼船目标框的左上角坐标且该视频帧为以时刻t为起点的前m个视频帧中的其中一个视频帧，d1、d2、h1、h2均表示设定的阈值且d1＜d2，h1＜h2；若是，则在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船出现在视频帧边界；若否，在以时刻t为起点的前m个视频帧所对应的时间段内无运鱼船出现在视频帧边界；
24、当在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船出现在视频帧边界，且nt＞nt-1时，在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船进港事件发生；
25、当在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船出现在视频帧边界，且nt＜nt-1时，在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船出港事件发生；
26、当在以时刻t为起点的前m个视频帧所对应的时间段内有运鱼船出现在视频帧边界，且nt＝nt-1时，在以时刻t为起点的前m个视频帧所对应的时间段内无运鱼船进出港事件发生；
27、当在以时刻t为起点的前m个视频帧所对应的时间段内无运鱼船出现在视频帧边界时，在以时刻t为起点的前m个视频帧所对应的时间段内无运鱼船进出港事件发生。
28、基于同一构思，本专利技术还提供一种终端设备，包括存储器、处理器以及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如上所述的鱼类增殖放流作业监测方法。
29、基于同一构思，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的鱼类增殖放流作业监测方法。
30、基于同一构思，本专利技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的鱼类增殖放流作业监测方法。
31、有益效果
32、与现有技术相比，本专利技术的优点在于：
33、本专利技术根据视频帧中运鱼船的数量和坐标位置判断时刻t是否发生运鱼船进出港事件，并保存和记录运鱼船进出港数量和进出港时间，然后将工作人员填写的鱼类放流时间与保存的进出港时间进行比较，当鱼类放流时间再保存的进出港时间内，则判定为规范流放，否则判断为非规范流放，实现了鱼类流放操作的监督管理，改善了鱼类放流操作不规范导致鱼类增殖效果不佳的现象。
34、本专利技术在运鱼船进出港事件判断时，不仅依据运鱼船在港数量的变化，而且还依据对应时间段内运鱼船出现在图像边界的条件，提高了运鱼船进本文档来自技高网...
【技术保护点】
1.一种鱼类增殖放流作业监测方法，其特征在于，所述监测方法包括以下步骤：
2.根据权利要求1所述的鱼类增殖放流作业监测方法，其特征在于，对所述视频流的视频帧进行船舶检测和分类具体包括以下步骤：
3.根据权利要求2所述的鱼类增殖放流作业监测方法，其特征在于，所述船舶检测模型采用YOLOv5模型或YOLOv3模型；所述船舶分类模型采用ResNet50_vd模型。
4.根据权利要求2所述的鱼类增殖放流作业监测方法，其特征在于，在利用训练好的船舶检测模型对所述视频流的视频帧进行船舶检测之前，还对所述视频流的视频帧进行预处理，所述预处理具体包括：
5.根据权利要求1～4中任一项所述的鱼类增殖放流作业监测方法，其特征在于，根据视频帧中运鱼船目标框的数量和坐标判断时刻t是否发生运鱼船进出港事件，具体包括：
6.根据权利要求5所述的鱼类增殖放流作业监测方法，其特征在于，根据时刻t和时刻t－1的运鱼船在港数量以及视频帧中运鱼船目标框的坐标判断是否发生运鱼船进出港事件，具体包括：
7.根据权利要求6所述的鱼类增殖放流作业监测方法
8.一种终端设备，包括存储器、处理器以及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1～7中任一项所述的鱼类增殖放流作业监测方法。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1～7中任一项所述的鱼类增殖放流作业监测方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1～7中任一项所述的鱼类增殖放流作业监测方法。
...【技术特征摘要】
1.一种鱼类增殖放流作业监测方法，其特征在于，所述监测方法包括以下步骤：
2.根据权利要求1所述的鱼类增殖放流作业监测方法，其特征在于，对所述视频流的视频帧进行船舶检测和分类具体包括以下步骤：
3.根据权利要求2所述的鱼类增殖放流作业监测方法，其特征在于，所述船舶检测模型采用yolov5模型或yolov3模型；所述船舶分类模型采用resnet50_vd模型。
4.根据权利要求2所述的鱼类增殖放流作业监测方法，其特征在于，在利用训练好的船舶检测模型对所述视频流的视频帧进行船舶检测之前，还对所述视频流的视频帧进行预处理，所述预处理具体包括：
5.根据权利要求1～4中任一项所述的鱼类增殖放流作业监测方法，其特征在于，根据视频帧中运鱼船目标框的数量和坐标判断时刻t是否发生运鱼船进出港事件，具体包括：
6.根据权利要求5所述的鱼类增殖放流作业监测方法，其特征在于，根据时刻...
【专利技术属性】
技术研发人员：刘洋，孙志新，卢毓伟，叶锐，赵宇飞，蒋正文，姚爱欢，王伟，余豪，成良歌，李怀玉，
申请(专利权)人：中国电建集团中南勘测设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。