鱼群状态识别方法及系统、电子设备和存储介质技术方案

本发明专利技术提供一种鱼群状态识别方法及系统、电子设备和存储介质，方法包括：基于待识别视频，确定待识别图像集；其中，待识别视频包括待识别鱼群的图像信息；待识别图像集包括：RGB图像和光流图像；RGB图像为表征空间信息的图像；光流图像为表征时间信息的图像；将待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果；其中，鱼群状态识别双流神经网络是基于根据样本视频确定的带标签的样本图像集训练得到的；鱼群状态识别双流神经网络训练时，目标损失函数用于传递根据预设超参数修正后的时间流和空间流预测概率。能够提高对鱼群状态识别的精度，减少对人力资源的浪费。减少对人力资源的浪费。减少对人力资源的浪费。

【技术实现步骤摘要】
鱼群状态识别方法及系统、电子设备和存储介质


[0001]本专利技术涉及机器视觉
，尤其涉及一种鱼群状态识别方法及系统、电子设备和存储介质。

技术介绍

[0002]目前水产养殖由粗放型向集约型转变，生产结构不断调整升级，陆基工厂化养殖是其中一种重要的养殖方式。陆基工厂化养殖以较高的科学技术水平为支撑，采用物联网、大数据和智能装备等技术共同实现。
[0003]陆基工厂化养殖中鱼群密度大，且鱼类大多具有集群行为，以非常有序的状态进行分布运动，对鱼群整体的位置分布和活跃度等动态分析研究，有利于实现陆基工厂化循环水养殖水质调控、水质净化、投饲智能化、自动化和精准化。
[0004]目前陆基工厂化养殖车间对鱼类的养殖，基本完全依赖于人工巡查以及养殖人员的经验来判断鱼群的生存状态，需要消耗大量地人力物力，造成了人力资源的浪费。并且状态识别结果受养殖人员主观影响较大，其准确性依赖于养殖人员的经验，难以客观准确的确定鱼群状态。
[0005]因此，如何提供一种鱼群状态识别方法及系统、电子设备和存储介质，能够无接触和低成本地实现对鱼群状态的识别，无需人工参与，识别结果受人为主观因素影响较小，能够提高对鱼群状态识别的精度，减少对人力资源的浪费，成为亟待解决的问题。

技术实现思路

[0006]本专利技术提供的鱼群状态识别方法及系统、电子设备和存储介质，用于解决现有技术中存在的上述问题，能够无接触和低成本地实现对鱼群状态的识别，无需人工参与，识别结果受人为主观因素影响较小，能够提高对鱼群状态识别的精度，减少对人力资源的浪费。
[0007]本专利技术提供的一种鱼群状态识别方法，包括：
[0008]基于待识别视频，确定待识别图像集；其中，所述待识别视频包括待识别鱼群的图像信息；所述待识别图像集包括：RGB图像和光流图像；所述RGB图像为表征空间信息的图像；所述光流图像为表征时间信息的图像；
[0009]将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果；
[0010]其中，所述鱼群状态识别双流神经网络是基于根据样本视频确定的带标签的样本图像集训练得到的；所述鱼群状态识别双流神经网络训练时，目标损失函数用于传递根据预设超参数修正后的时间流和空间流预测概率。
[0011]根据本专利技术提供的鱼群状态识别方法，所述鱼群状态识别双流神经网络包括：空间信息网络层、时间信息网络层和识别结果融合层；
[0012]所述空间信息网络层用于根据所述RGB图像，确定所述待识别视频的空间鱼群状态识别结果；
[0013]所述时间信息网络层用于根据所述光流图像，确定所述待识别视频的时间鱼群状态识别结果；
[0014]所述识别结果融合层，用于基于所述空间鱼群状态识别结果和所述时间鱼群状态识别结果，根据预先设置的权值进行加权融，确定目标鱼群状态识别结果。
[0015]根据本专利技术提供的鱼群状态识别方法，所述空间信息网络层包括：空间特征提取层和空间特征识别层；所述时间信息网络层包括：时间特征提取层和时间特征识别层；
[0016]所述空间信息网络层用于根据所述RGB图像，得到所述待识别视频的空间流特征；
[0017]所述空间特征识别层用于根据所述待识别视频的空间流特征，确定所述空间鱼群状态识别结果；
[0018]所述时间特征提取层用于根据所述光流图像，得到所述待识别视频的时间流特征；
[0019]所述时间特征识别层用于根据所述待识别视频的时间流特征，确定所述时间鱼群状态识别结果。
[0020]根据本专利技术提供的鱼群状态识别方法，在所述将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果的步骤之前，还包括：基于样本视频，确定样本图像集；
[0021]所述基于样本视频，确定样本图像集，具体包括：
[0022]处理所述样本视频，获取连续的视频帧图集；
[0023]基于所述连续的视频帧图集，确定RGB图像集；
[0024]在所述连续的视频帧图集中每几帧连续的视频帧间添加光流位移场，获取光流图像；
[0025]基于所述光流图像，确定光流图像集；
[0026]基于所述RGB图像集和光流图像集，按一定比例分为训练集和测试集标注样本鱼群状态标签，确定样本图像集。
[0027]根据本专利技术提供的鱼群状态识别方法，在所述将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果的步骤之前，还包括：训练所述鱼群状态识别双流神经网络；
[0028]所述训练所述鱼群状态识别双流神经网络，具体包括：
[0029]基于所述样本视频，确定所述样本图像集；其中，所述样本视频包括样本鱼群的图像信息；所述样本图像集包括：RGB图像和光流图像；
[0030]利用所述样本图像集训练所述鱼群状态识别双流神经网络；
[0031]基于所述目标损失函数，对所述鱼群状态识别双流神经网络的网络参数使用梯度下降法进行更新；其中，所述目标损失函数是根据所述预设超参数、预设损失函数权值、相对熵损失函数和交叉熵损失函数确定的；所述超参数包括：时间超参数和空间超参数；时间超参数用于修正鱼群状态识别双流神经网络中时间流类别信息；空间超参数用于修正鱼群状态识别双流神经网络中空间流类别信息。
[0032]根据本专利技术提供的鱼群状态识别方法，所述目标损失函数Loss为：
[0033]Loss＝KL(Ps，Pt
′
)*α*T*T+CE(Ps，G)*(1
‑
2α)*0.5+CE(Pt，G)*(1
‑
2α)*0.5+KL(Ps
′
，Pt)*α*T*T
[0034]其中，KL为相对熵损失函数；CE为交叉熵损失函数；Ps为时间流类别信息；Ps
′
为修正后的时间流类别信息；Pt为空间流类别信息；Pt
′
为修正后的空间流类别信息；α为相对熵损失函数所占权重；(1
‑
2α)为交叉熵损失函数所占权重；G为样本鱼群真实类别信息；T为蒸馏参数。
[0035]根据本专利技术提供的鱼群状态识别方法，所述基于所述目标损失函数，对所述鱼群状态识别双流神经网络的网络参数使用梯度下降法进行更新，并基于更新后的网络参数对鱼群状态识别双流神经网络进行迭代训练直至所述鱼群状态识别双流神经网络收敛，具体包括：
[0036]基于所述目标损失函数，对鱼群状态识别双流神经网络的网络参数使用小批量梯度下降法进行更新，根据余弦退火策略调整学习速率，并基于更新后的网络参数对鱼群状态识别双流神经网络进行迭代训练直至所述鱼群状态识别双流神经网络收敛。
[0037]本专利技术还提供一种鱼群状态识别系统，包括：输入确定单元和状态识别单元；
[0038]所述输入确定单元，用于基于待识别视频，确定待识别图像集；其中，所述待识别视频包括待识别鱼群的图像信息；所述待识别图像集包括：RGB图像和光流图像；所述RGB本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鱼群状态识别方法，其特征在于，包括：基于待识别视频，确定待识别图像集；其中，所述待识别视频包括待识别鱼群的图像信息；所述待识别图像集包括：RGB图像和光流图像；所述RGB图像为表征空间信息的图像；所述光流图像为表征时间信息的图像；将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果；其中，所述鱼群状态识别双流神经网络是基于根据样本视频确定的带标签的样本图像集训练得到的；所述鱼群状态识别双流神经网络训练时，目标损失函数用于传递根据预设超参数修正后的时间流和空间流预测概率。2.根据权利要求1所述的鱼群状态识别方法，其特征在于，所述鱼群状态识别双流神经网络包括：空间信息网络层、时间信息网络层和识别结果融合层；所述空间信息网络层用于根据所述RGB图像，确定所述待识别视频的空间鱼群状态识别结果；所述时间信息网络层用于根据所述光流图像，确定所述待识别视频的时间鱼群状态识别结果；所述识别结果融合层，用于基于所述空间鱼群状态识别结果和所述时间鱼群状态识别结果，根据预先设置的权值进行加权融，确定目标鱼群状态识别结果。3.根据权利要求2所述的鱼群状态识别方法，其特征在于，所述空间信息网络层包括：空间特征提取层和空间特征识别层；所述时间信息网络层包括：时间特征提取层和时间特征识别层；所述空间信息网络层用于根据所述RGB图像，得到所述待识别视频的空间流特征；所述空间特征识别层用于根据所述待识别视频的空间流特征，确定所述空间鱼群状态识别结果；所述时间特征提取层用于根据所述光流图像，得到所述待识别视频的时间流特征；所述时间特征识别层用于根据所述待识别视频的时间流特征，确定所述时间鱼群状态识别结果。4.根据权利要求1所述的鱼群状态识别方法，其特征在于，在所述将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果的步骤之前，还包括：基于样本视频，确定样本图像集；所述基于样本视频，确定样本图像集，具体包括：处理所述样本视频，获取连续的视频帧图集；基于所述连续的视频帧图集，确定RGB图像集；在所述连续的视频帧图集中每几帧连续的视频帧间添加光流位移场，获取光流图像；基于所述光流图像，确定光流图像集；基于所述RGB图像集和所述光流图像集，按一定比例分为训练集和测试集标注样本鱼群状态标签，确定样本图像集。5.根据权利要求1所述的鱼群状态识别方法，其特征在于，在所述将所述待识别图像集输入鱼群状态识别双流神经网络，确定目标鱼群状态识别结果的步骤之前，还包括：训练所述鱼群状态识别双流神经网络；
所述训练所述鱼群状态识别双流神经网络，具体包括：基于所述样本视频，确定所述样本图像集；其中，所述样本视频包括样本鱼群的图像信息；所述样本图像集包括：RGB图像和光流图像；利用所述样本图像集训练所述鱼群状态识别双流神经网络；基于所述目标损失函数，对所述鱼群状态识别双流神经网络的网络参数使用梯度下降法进行更新，并基于更新后的...

【专利技术属性】
技术研发人员：陈英义，梅思远，李道亮，于辉辉，杨玲，刘烨琦，秦瀚翔，刘雄，梅玉鹏，孙博洋，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：