基于空间金字塔注意的鱼类行为识别方法及系统技术方案

本发明专利技术属于鱼类行为识别技术领域，提供了基于空间金字塔注意的鱼类行为识别方法及系统，其方案为采用空间金字塔注意力的双流网络，包含一个空间流和一个运动流，两者都使用空间金字塔注意模块分别获取鱼类行为的空间和时间特征。具体来说，空间金字塔注意力模块聚合了来自基线不同层级的特征，以捕获局部和全局信息之间的相关性。然后，将提取到的时间特征与空间特征相结合，得到一个新的融合特征。这三个特征通过一个可学习的乘法器M在最后的分类过程中被赋予不同的权重，用于行为识别。别。别。

【技术实现步骤摘要】
基于空间金字塔注意的鱼类行为识别方法及系统


[0001]本专利技术属于鱼类行为识别
，尤其涉及基于空间金字塔注意的鱼类行为识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着全球对水产品需求的不断增加，水产养殖事业得到了蓬勃发展。因此，养殖中鱼类的福祉受到越来越多的关注。行为是水产养殖中反应鱼类状态的重要指标，鱼类行为识别可以提供鱼类状态的实时了解和预警，这对于集约化养殖管理非常重要。例如，及时识别鱼类的摄食行为和饥饿行为，可以采取合理有效的喂养策略，提高养殖效率。通过对鱼类恐惧等异常行为的识别，水产养殖管理者可以了解温度、光、声等外界条件对鱼类的影响，及时调整养殖环境，保护鱼类福祉。
[0004]传统的鱼类识别方法是派专人长时间观察鱼的行为，但该方法是劳动强度大且低效的。最近以来计算机视觉技术的发展为鱼类行为监测提供了一种低成本且高效的方法。
[0005]鱼类行为识别的机器学习方法依赖于手工制作的特征。Beyan等人提取了鱼类的几种行为特征，包括基于曲率尺度空间的特征、基于速度和加速度的特征、基于转弯的特征、质心距离函数、邻近区域的特征和环路特征。采用主成分分析法对特征进行降维，最后采用层次分类和隐马尔可夫模型聚类对异常行为进行识别。Liu等人定义了一种基于计算机视觉的进食活动指数，该指数由两张连续帧相减得到差帧中所有像素强度之和生成。将该指数与人工观察喂养活动指数进行比较，相关系数达到了0.9195。自发的集体行为同样可以有效地评价鱼类的行为状态。研究人员通过计算水流场的变化幅度、相互作用力和离散度来分析鱼类自发的集体行为。并对自发的集体行为进行量化和整合，以评估鱼类的食欲水平。
[0006]然而，手工特征的制作通常是费时费力的。近年来，深度学习技术因为可以通过深度神经网络自动提取特征而开始流行，并在图像分类、物体检测、物体跟踪、行为识别等领域取得了显著的成就。因此，深度学习技术已经开始应用于水产养殖。Zhou等人利用卷积神经网络(CNN)来评估鱼的食欲水平。与其他机器学习方法相比，CNN具有最好的性能，准确率达到90％。Yang等人设计了一种双注意力网络，实现了基于图像的鱼类行为分析。该网络通过一个位置注意模块和一个通道注意模块来获取鱼类摄食图像中感兴趣区域之间的空间关系，紧接着采取了多种优化策略来训练网络，最终在测试集上的准确率到达了89.56％。
[0007]尽管前人针对鱼群的行为识别已经开展了诸多工作，但大多数研究只是从全局的角度来定义和识别鱼类的行为。然而，一些鱼类行为发生在局部区域的少数个体之间。例如，饥饿通常是发生在大多数鱼间的全局行为，而恐惧行为通常是发生在局部区域内的少数个体之间的局部行为。如果只关注全局行为，就很难识别局部行为，导致识别效果不佳，反之亦然。同时，在实际养殖环境中，由于养殖密度过大，经常出现鱼与鱼之间交叉遮挡、小
面积聚集的现象，也给鱼类行为的识别带来困难。

技术实现思路

[0008]为了解决上述
技术介绍
中存在的至少一项技术问题，本专利技术提供基于空间金字塔注意的鱼类行为识别方法及系统，其提出了一种基于空间金字塔注意的双流网络(SPA
‑
TSN)，从全局和局部两个角度同时识别鱼类行为，包含一个空间流和一个运动流，两者都使用空间金字塔注意模块分别获取鱼类行为的空间和时间特征。将提取到的时间特征与空间特征相融合，得到融合特征，将三个特征通过一个可学习的乘法器在分类过程中被赋予不同的权重后用于行为识别。
[0009]为了实现上述目的，本专利技术采用如下技术方案：
[0010]本专利技术的第一方面提供基于空间金字塔注意的鱼类行为识别方法，包括如下步骤：
[0011]获取鱼群行为视频数据；
[0012]结合鱼群行为视频数据和鱼类行为识别模型得到行为识别结果；其中，所述鱼类行为识别模型构建的过程为：
[0013]将鱼群行为视频数据处理为RGB图像和光流图像；
[0014]采用双流网络，针对每一个流，采用空间金字塔注意模块获取对应的特征，空间流以RGB图像为输入提取得到鱼类行为的空间特征，运动流以光流图像为输入提取鱼类行为的时间特征，其中，空间金字塔注意模块聚合了来自基线不同层级的特征，从全局和局部角度捕捉鱼类的行为语义，将提取到的时间特征与空间特征相融合，得到融合特征，将三个特征通过一个可学习的乘法器在分类过程中被赋予不同的权重后用于行为识别。
[0015]本专利技术的第二方面提供基于空间金字塔注意的鱼类行为识别系统，包括：
[0016]数据获取模块，其用于获取鱼群行为视频；
[0017]鱼类行为识别模块，其用于结合鱼群行为视频和鱼类行为识别模型得到行为识别结果；其中，所述鱼类行为识别模型构建的过程为：
[0018]将鱼群行为视频处理为RGB图像和光流图像；
[0019]采用双流网络，针对每一个流，采用空间金字塔注意模块获取对应的特征，空间流以RGB图像为输入提取得到鱼类行为的空间特征，运动流以光流图像为输入提取鱼类行为的时间特征，其中，空间金字塔注意模块聚合了来自基线不同层级的特征，从全局和局部角度捕捉鱼类的行为语义，将提取到的时间特征与空间特征相融合，得到融合特征，将三个特征通过一个可学习的乘法器在分类过程中被赋予不同的权重后用于行为识别。
[0020]本专利技术的第三方面提供一种计算机可读存储介质。
[0021]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于空间金字塔注意的鱼类行为识别方法中的步骤。
[0022]本专利技术的第四个方面提供一种计算机设备。
[0023]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于空间金字塔注意的鱼类行为识别方法中的步骤。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]1、本专利技术PA通过空间金字塔模块聚合来自Resnet
‑
50不同层级的特征，同时从全局和局部角度捕获鱼类行为信息。此外，使用了一个注意模块，使模型能够集中关注感兴趣的区域，从而忽略鱼之间的交叉遮挡和小面积聚集现象。
[0026]2、本专利技术提出的双流融合方法不仅结合了空间和时间特征，而且还根据它们对当前类的重要性为这些特征分配不同的权重。这使得模型能够专注于每个类最相关的信息，并实现较高的精度。
[0027]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0028]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0029]图1是本专利技术实施例提供的实验系统的结构；
[0030]图2是本专利技术实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于空间金字塔注意的鱼类行为识别方法，其特征在于，包括如下步骤：获取鱼群行为视频数据；结合鱼群行为视频数据和鱼类行为识别模型得到行为识别结果；其中，所述鱼类行为识别模型构建的过程为：将鱼群行为视频数据处理为RGB图像和光流图像；采用双流网络，针对每一个流，采用空间金字塔注意模块获取对应的特征，空间流以RGB图像为输入提取得到鱼类行为的空间特征，运动流以光流图像为输入提取鱼类行为的时间特征，其中，空间金字塔注意力模块聚合了来自基线不同层级的特征，从全局和局部角度捕捉鱼类的行为语义，将提取到的时间特征与空间特征相融合，得到融合特征，将三个特征通过一个可学习的乘法器在分类过程中被赋予不同的权重后用于行为识别。2.如权利要求1所述的基于空间金字塔注意的鱼类行为识别方法，其特征在于，获取鱼群行为视频数据后，采用数据增强技术来扩展数据集。3.如权利要求1所述的基于空间金字塔注意的鱼类行为识别方法，其特征在于，将鱼群行为视频数据处理为RGB图像和光流图像包括：采用flownet模型来计算鱼群运动的光流，以获得鱼群行为的时间信息，并将计算得到的光流可视化为RGB图片的格式。4.如权利要求1所述的基于空间金字塔注意的鱼类行为识别方法，其特征在于，所述可学习的乘法器在训练过程中使用交叉熵损失函数和反向传播算法学习。5.如权利要求1所述的基于空间金字塔注意的鱼类行为识别方法及系统，其特征在于，空间金字塔注意力模块聚合了来自基线不同层级的特征时，仅聚合第三层级、第四层级和第五层级三个层级的特征，再经过注意力模块的处理后进行全局池化，经全局池化后，将三个层对应输出的特征向量拼接后...

【专利技术属性】
技术研发人员：马昕，张昊，姜文鑫，于弋甯，王历昂，
申请(专利权)人：山东大学，
类型：发明
国别省市：