基于鱼类打水行为监测的种群识别方法及系统技术方案

本发明专利技术公开了基于鱼类打水行为监测的种群识别方法及系统，属于图像识别技术领域，包括：步骤S1、设置预训练模型；步骤S2、开发鱼打水花识别模型；步骤S3、开发鱼类特征识别模型；步骤S4、构建和部署鱼类识别程序。本发明专利技术将鱼种类识别过程分解为水花识别、鱼类特征识别、鱼种类识别3个步骤，先利用水花识别程序从水面实时监控视频中快速提取“打水”视频片段，再据此利用鱼类特征识别程序识别鱼类特征序列，最后利用鱼类识别程序达到水面监控识别鱼种类的目的。类的目的。类的目的。

【技术实现步骤摘要】
基于鱼类打水行为监测的种群识别方法及系统


[0001]本专利技术涉及图像识别
，特别是一种基于深度学习的鱼类识别方法。

技术介绍

[0002]鱼类是水域生态系统的重要组成部分，将鱼类作为指示物种表征水域生境状况已在国际上得到普遍认可。当前多数监测方法所获取的鱼类种群及分布数据具有非连续性和不确定性等不足，制约了人们更快捷、更精确的开展渔业资源调查以及栖息地保护与修复工作。
[0003]从鱼类实体捕获或信息捕获方法的角度，当前鱼类种群及分布的监测方式大致分两大类：“第一现场”调查类，包括刺网、电网、声学探测、图像识别等，这类调查需要在鱼活动的第一现场进行鱼类实体或信息捕获。然而，刺网捕捞法对静止或移动性不强的鱼类效果不佳，且随刺网网目大小变化其捕获量具有较大不确定性；电网捕捞法在开放水域受水深影响较大且具有一定的干扰性；声学探测技术尚不能实现鱼类个体的物种鉴定识别，图像识别技术存在功能薄弱、受水体透明度影响大等不足。“非第一现场”调查类，包括渔获调查和分子鉴定技术等，这类调查是借助第三方渔获基础上进行调查分析与咨询而来。其中，渔获调查法对鱼类的时空分布时效性不强，分子鉴定技术需投人大量前期研究工作，成本较高。综上，“第一现场”调查类只考虑了水体中鱼类的信息，而且受水体障碍物、透明度等影响较大，往往无法捕捉到有效的图像信息；而“非第一现场”调查类时效性较差且成本较高。
[0004]为此，人们采用图像识别技术识别鱼类，其主要基于鱼体图像特征进行识别，识别算法主要基于鱼体较完整的图像进行训练以生成鱼的特征识别算法，如果缺少鱼体较完整的图像信号将难以完成算法训练和识别过程。基于鱼体图像特征的识别方式主要在可以捕获鱼体完整图像的水下识别场景应用。通过水下获取鱼像在距离、清晰度方面有诸多制约，将耗费较多的人力、时间成本完成鱼的发现和鱼种识别。而且，在户外开展渔业资源和环境调查时，水下获取鱼图像的识别方式存在诸多不足。

技术实现思路

[0005]本专利技术的专利技术目的是，针对上述问题，提供一种基于鱼类打水行为监测的种群识别方法，通过对鱼“打水”高清视频的标注、模型训练以及在边缘设备的协同部署运行，实现对广域水面鱼类的更快捷、更精确识别，在渔业资源与环境调查以及水域鱼类栖息地保护与修复方面具有广阔的应用前景。
[0006]鱼类“打水”现象是多数鱼类因气象、水体生境变化及自身生理需要在气
‑
水界面上表现出来的响应行为，是鱼类在“气
‑
水
‑
鱼”综合因素作用下“因鱼而异”的典型表征；因而，通过对水面鱼类“打水”图像序列的识别，可以识别鱼种类信息。一般情形下，水面鱼类识别方法主要基于高频、密集的鱼和水花图像来识别水面鱼群信号，虽然可用于识别水面鱼群信息，但不能识别具体的鱼种类信息。在户外开展渔业资源和环境调查时，一般的水面
鱼群识别算法面对低频出现的“打水”信号不能识别出具体鱼种。为此，进行改进得到本专利技术。
[0007]为达到上述目的，本专利技术所采用的技术方案是：
[0008]基于鱼类打水行为监测的种群识别方法，包括以下内容：
[0009]步骤S1、设置预训练模型；包括以下内容：根据预设配置条件(现有的预配置的算力大小、数据规模等)，选择合适的物体识别深度学习模型作为鱼打水花识别预训练模型以及鱼类特征识别预训练模型的基础模型；
[0010]步骤S2、开发鱼打水的水花识别模型；包括以下处理步骤：步骤21、获取混合鱼种类水域水面视频数据；步骤22、人工浏览水面视频数据筛选混合鱼种类打水视频片段；步骤23、使用标注软件对该打水视频片段进行鱼打水花标注(鱼打水花指的是水面因外力作用形成的类圆形水纹图案)；步骤24、利用上述鱼打水花标注对鱼打水花预训练模型进行迁移训练，得到鱼打水的水花识别模型；
[0011]步骤S3、开发鱼类特征识别模型；包括以下处理步骤：步骤31、获取水域的水面视频数据；步骤32、利用水花识别模型识别和筛选出经裁剪和缩短后的不同鱼类打水的视频片段；步骤33、进行特征工程，建立鱼类打水特征库，人工方式确定打水视频片段对应的鱼类；步骤34、结合鱼种类信息，使用标注软件对打水视频片段进行鱼体及水花特征标注；步骤35、利用上述标注数据对鱼类特征识别预训练模型进行迁移训练，得到鱼类特征识别模型；
[0012]步骤S4、构建和部署鱼类识别程序；包括以下处理步骤：步骤41、部署鱼打水的水花识别模型和鱼类特征识别模型，集成以构建鱼类识别程序；步骤42、获取监控水域水面视频数据；步骤43、对监控水域水面视频数据进行隔帧识别，提取裁剪、缩短后的鱼打水的打水视频序列；步骤44、逐帧识别筛选后的打水视频序列，得到鱼类特征序列；步骤45、将识别到的鱼类特征序列与鱼类特征库比对，得出鱼种类识别结果。
[0013]其中，步骤S4还包括以下步骤：步骤46、分析识别结果，对水花识别模型、鱼类特征识别模型进行评估。鱼类打水特征库为二维表格，表格字段包括鱼类名称以及各个特征项名称，表格的每行记录每个水花对应的鱼种名称以及特征值，每个特征项为一个鱼种独有或多个鱼种共有，特征值可为0～1之间的值；鱼打水的打水视频序列包含多张图像，对图像序列逐帧进行特征计算后得到二维特征矩阵，其列为特征项，行为帧序号，元素值为特征值，通过对特征矩阵归并操作，将所输入的打水视频序列输出为一维数组的鱼类特征序列。
[0014]如上述，将鱼种类识别过程分解为鱼打水的水花识别、鱼类特征识别、鱼种类识别3个步骤，先利用水花识别程序从水面实时监控视频中快速提取“打水”视频片段，再据此利用鱼类特征识别模型识别出鱼类特征序列，最后将该特征序列与鱼类特征库比对后得出鱼种类信息，从而最终达到通过水面视频监控鱼类打水行为识别鱼种类的目的。
[0015]基于前述方案，在改进方案中，该识别方法还包括以下步骤：步骤S5、迭代优化鱼类特征识别模型；包括以下处理步骤：步骤51、根据步骤46评估结果判断是否需要对鱼类特征识别模型进行优化；步骤52、对利用水花识别模型获取的监控水域打水视频片段进行鱼体及水花特征标注；步骤53、利用上述鱼体及水花特征标注对鱼类特征识别模型进行微调或重新训练，得到优化后的鱼类特征识别模型；步骤54、对优化后鱼类特征识别模型进行评估，迭代执行前述优化操作直至评估结果符合预期，然后重新部署优化后的鱼类特征识别
模型。如此，当鱼种、水域地点、摄像头等发生显著变化造成数据漂移从而大幅影响鱼类特征识别模型性能的情况下，通过微调或重新训练模型可以维持鱼类识别精度，通过新水花特征的发现也可以发现新的鱼类。
[0016]基于前述方案，在改进方案中，该识别方法还包括以下步骤：步骤S6、数据统计分析；包括以下处理步骤：步骤61、根据监控水域面积调整摄像头及边缘设备配置；步骤62、根据鱼打水花数据分布调整摄像头焦距和方向；步骤63、使用协同算法调度边缘设备计算；步骤64、汇集鱼种类识别结果并进行统计分析，然后返回执行步骤62操作再次进行数据统计分析。如此，获取大面积水本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于鱼类打水行为监测的种群识别方法，其特征在于，包括以下内容：步骤S1、设置预训练模型；包括以下内容：根据预设配置条件，选择合适的物体识别深度学习模型作为鱼打水花识别预训练模型以及鱼类特征识别预训练模型的基础模型；步骤S2、开发鱼打水的水花识别模型；包括以下处理步骤：步骤21、获取混合鱼种类水域水面视频数据；步骤22、人工浏览水面视频数据筛选混合鱼种类打水视频片段；步骤23、使用标注软件对该打水视频片段进行鱼打水花标注；步骤24、利用上述鱼打水花标注对鱼打水花预训练模型进行迁移训练，得到鱼打水的水花识别模型；步骤S3、开发鱼类特征识别模型；包括以下处理步骤：步骤31、获取水域的水面视频数据；步骤32、利用水花识别模型识别和筛选出经裁剪和缩短后的不同鱼类打水的视频片段；步骤33、进行特征工程，建立鱼类打水特征库，人工方式确定打水视频片段对应的鱼类；步骤34、结合鱼种类信息，使用标注软件对打水视频片段进行鱼体及水花特征标注；步骤35、利用上述标注数据对鱼类特征识别预训练模型进行迁移训练，得到鱼类特征识别模型；步骤S4、构建和部署鱼类识别程序；包括以下处理步骤：步骤41、部署鱼打水的水花识别模型和鱼类特征识别模型，集成以构建鱼类识别程序；步骤42、获取监控水域水面视频数据；步骤43、对监控水域水面视频数据进行隔帧识别，提取裁剪、缩短后的鱼打水的打水视频序列；步骤44、逐帧识别筛选后的打水视频序列，得到鱼类特征序列；步骤45、将识别到的鱼类特征序列与鱼类特征库比对，得出鱼种类识别结果。2.根据权利要求1所述的基于鱼类打水行为监测的种群识别方法，其特征在于：所述步骤S4还包括以下步骤：步骤46、分析识别结果，对水花识别模型、鱼类识别模型的性能进行评估。3.根据权利要求2所述的基于鱼类打水行为监测的种群识别方法，其特征在于：还包括以下步骤：步骤S5、迭代优化鱼类特征识别模型；包括以下处理步骤：步骤51、根据步骤46评估结果判断是否需要对鱼类特征识别模型进行优化；步骤52、对利用水花识别模型获取的监控水域打水视频片段进行鱼体及水花特征标注；步骤53、利用上述鱼体及水花特征标注对鱼类特征识别模型进行微调或重新训练，得到优化后的鱼类特征识别模型；步骤54、对优化后鱼类特征识别模型进行评估，迭代执行前述优化操作直至评估结果符合预期，然后重新部署优化后的鱼类特征识别模型。4.根据权利要求3所述的基于鱼类打水行为监测的种群识别方法，其特征在于：还包括以下步骤：步骤S6、数据统计分析；包括以下处理步骤：步骤61、根据监控水域面积调整摄像头及边缘设备配置；步骤62、根据鱼打水花数据分布调整摄像头焦距和方向；步骤63、使用协同算法调度边缘设备计算；步骤64、汇集鱼种类识别结果并进行统计分析，然后返回执行步骤62操作。5.根据权利要求1所述的基于鱼类打水行为监测的种群识别方法，其特征在于：鱼类打水特征库为二维表格，表格字段包括鱼类名称以及各个特征项名称，表格的每行记录每个水花对应的鱼种名称以及特征值，每个特征项为一个鱼种独有或多个鱼种共有，特征值可为0～1之间的值；鱼打水的打水视频序列包含多张图像，对图像序列逐帧进行特征计算后得到二维特征矩阵，其列为特征项，行为帧序号，元素值为特征值，通过对特征矩阵归并操作，将所输入的打水视频序列输出为一维数组的鱼类特征序列。6.基于鱼类打水行为监测的种群识别系统，其特征在于，包...

【专利技术属性】
技术研发人员：李荣辉，肖开棒，黄献钰，林森海，
申请(专利权)人：广西大学，
类型：发明
国别省市：