一种基于Transformer的鱼群摄食决策方法技术

本发明专利技术公开了一种基于Transformer的鱼群摄食决策方法，包括：获取鱼群运动视频，采用YOLOv5模型对每帧图像进行检测获得每条鱼的检测框及位置信息；计算每帧图像的鱼群质心并归一化：构建Delaunay三角网；根据二维高斯正态分布计算权重因子；获得鱼群质心坐标；计算相邻两帧图像的鱼群质心之差获得特征向量；对Transformer模型进行处理并将预设长度的特征向量输入模型进行训练；将待识别的预设长度的特征向量输入训练好的Transformer模型获得鱼群饥饿值，比较鱼群饥饿值和预设阈值，判断是否投食。该方法可避免多余饵料污染或鱼群营养不良，计算量低，准确率高，可实现养殖实时监测，泛化能力好。泛化能力好。泛化能力好。

【技术实现步骤摘要】
一种基于Transformer的鱼群摄食决策方法


[0001]本专利技术属于智能水产养殖
，具体涉及一种基于Transformer的鱼群摄食决策方法。

技术介绍

[0002]随着鱼类养殖业的不断发展，传统投饵方式与设备已不能满足日益增长的需求，鱼群摄食具有一定的规律，实时判别鱼群摄食状态并用于控制投饵具有重要意义。但鱼群整体的杂乱运动难以建模，往往需要用非常复杂的模型去描述鱼群的运动轨迹和鱼群饥饿程度之间的关系，计算量大，且图像处理模块的执行效率通常较低，不能满足鱼群的运动轨迹检测的实时性。
[0003]现有针对鱼类养殖的摄食决策技术通常基于传统的数字图像处理和统计机器学习的方法，一般都是针对某一类特定的养殖环境，鲁棒性差，泛化能力差。如采用传统的数字图像处理方法对整张图片做二值化、计算灰度共生矩阵提取鱼群特征，并且通过帧差法等计算鱼群的运动特征和鱼群的混乱程度作为总的行为特征，然后通过支持向量机进行决策二分类，即是否投食。该方法鲁棒性差，并且是以鱼群为单位，投食策略不合理，容易造成浪费或投喂不足。且传统的卷积神经网络要达到较高的准确率，模型规模往往过大，参数量过多，会出现计算速度慢，占用内存大的问题，不适合于部署到实际应用之中。因此，本申请提出一种基于Transformer的鱼群摄食决策方法。

技术实现思路

[0004]本专利技术的目的在于针对上述问题，提出一种基于Transformer的鱼群摄食决策方法，该方法通过YOLOv5模型和Transformer模型结合建模出鱼群运动轨迹和饥饿程度的关系，从而实现鱼群摄食决策，可避免多余饵料污染环境或者鱼群营养不良问题，且计算量低，可在运算资源有限的嵌入式平台上部署，实现养殖投食实时监测，准确率高，泛化能力好。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]本专利技术提出的一种基于Transformer的鱼群摄食决策方法，包括如下步骤：
[0007]S1、获取鱼群运动视频，采用YOLOv5模型对每帧图像进行检测获得每条鱼的检测框，并将每条鱼的位置信息表示为[x,y,w,h]，其中，(x,y)为检测框的中心坐标，即鱼的质心坐标，w为检测框的宽度，h为检测框的高度；
[0008]S2、计算每帧图像的鱼群质心并进行归一化处理，鱼群质心的计算如下：
[0009]S21、采用Delaunay三角剖分法基于图像中所有鱼的质心坐标构建Delaunay三角网，Delaunay三角网保留n个鱼的质心坐标；
[0010]S22、根据二维高斯正态分布计算Delaunay三角网上各鱼的质心坐标的权重因子a
i
：
[0011][0012]其中，μ1＝0，μ2＝0，σ1＝1，σ2＝1，ρ＝0，(x
i
,y
i
)为第i(i＝1,2,3
…
n)条鱼的质心坐标；
[0013]S23、鱼群质心的坐标(X,Y)，满足如下公式：
[0014][0015]S3、根据相邻两帧图像的鱼群质心之差计算鱼群运动速度和鱼群运动加速度，生成特征向量[p,v,a]作为相邻两帧中后一帧图像的鱼群行为特征，其中，p为相邻两帧中后一帧图像的鱼群质心，v为鱼群运动速度，a为鱼群运动加速度的绝对值，即鱼群活跃程度；
[0016]S4、对Transformer模型进行处理并将预设长度的特征向量输入Transformer模型进行训练，对Transformer模型进行处理包括去除embedding层；
[0017]S5、将待识别的预设长度的特征向量输入训练好的Transformer模型获得鱼群饥饿值，判断鱼群饥饿值是否大于预设阈值，若是，根据鱼群中鱼的数量进行投食，否则，不进行投食。
[0018]优选地，步骤S21中，采用Delaunay三角剖分法基于图像中所有鱼的质心坐标构建Delaunay三角网，具体如下：
[0019]S211、将所有鱼的质心坐标视为数据点集中的数据点，遍历全部数据点，构建一个包围最多数据点的超级三角形并放入三角形链表；
[0020]S212、任取除超级三角形外其余数据点之一插入三角形链表，判断插入点是否在超级三角形内部，若是，将该插入点与超级三角形的三个角点分别连接形成新的凸多边形，否则，将该插入点与超级三角形上最近边的两个角点分别连接形成新的凸多边形；
[0021]S213、判断新的凸多边形是否包含四边形，若是，将四边形的对角线互换进行优化，否则，不进行优化；
[0022]S214、返回执行步骤S212，直至三角形链表包含n个数据点；
[0023]S215、任取n个数据点外的其余数据点之一插入三角形链表，将插入点与超级三角形外的n
‑
3个数据点逐个尝试替换获得新三角形，并分别计算新三角形的内角和，若最大内角和大于对应的原三角形的内角和，则将原三角形替换为对应的新三角形，否则，不进行替换；
[0024]S216、返回执行步骤S215，直至所有其余数据点插入完成且无边线交叉，即获得Delaunay三角网。
[0025]优选地，归一化处理，公式如下：
[0026][0027]其中，q*为归一化处理后的鱼群质心；q为归一化处理前的鱼群质心；q
min
为鱼群质心样本的最小值；q
max
为鱼群质心样本的最大值。
[0028]与现有技术相比，本专利技术的有益效果为：
[0029]该方法基于深度学习实现鱼群摄食决策，通过采用YOLOv5模型快速处理图像获得每条鱼的位置信息，并计算出每帧图像的鱼群质心，然后根据相邻帧的鱼群质心之差获得
特征向量作为鱼群的运动轨迹张量，结合Transformer模型对预设长度的特征向量进行处理，该Transformer模型无需embedding层编码和图像处理时额外的卷积运算，即可充分建模出鱼群运动轨迹(如鱼群的运动速度、鱼群活跃程度)和饥饿程度的关系，获得鱼群饥饿值，同时基于鱼群数量和饥饿程度进行投食决策，避免多余饵料污染环境或者饵料不够导致鱼群营养不良的问题，可在保证鱼类养殖质量的同时节约养殖成本，且计算量低，可在运算资源有限的嵌入式平台上部署，实现养殖投食实时监测，准确率高，泛化能力好。
附图说明
[0030]图1为本专利技术的基于Transformer的鱼群摄食决策方法流程图；
[0031]图2为本专利技术的YOLOv5模型目标检测图；
[0032]图3为本专利技术的基于Delauny三角网的鱼群质心输出结果图。
具体实施方式
[0033]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0034]需要说明的是，除非另有定义，本文所使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的鱼群摄食决策方法，其特征在于：所述基于Transformer的鱼群摄食决策方法包括如下步骤：S1、获取鱼群运动视频，采用YOLOv5模型对每帧图像进行检测获得每条鱼的检测框，并将每条鱼的位置信息表示为[x,y,w,h]，其中，(x,y)为所述检测框的中心坐标，即鱼的质心坐标，w为所述检测框的宽度，h为所述检测框的高度；S2、计算每帧图像的鱼群质心并进行归一化处理，所述鱼群质心的计算如下：S21、采用Delaunay三角剖分法基于图像中所有鱼的质心坐标构建Delaunay三角网，所述Delaunay三角网保留n个鱼的质心坐标；S22、根据二维高斯正态分布计算所述Delaunay三角网上各鱼的质心坐标的权重因子a
i
：其中，μ1＝0，μ2＝0，σ1＝1，σ2＝1，ρ＝0，(x
i
,y
i
)为第i(i＝1,2,3
…
n)条鱼的质心坐标；S23、所述鱼群质心的坐标(X,Y)，满足如下公式：S3、根据相邻两帧图像的鱼群质心之差计算鱼群运动速度和鱼群运动加速度，生成特征向量[p,v,a]作为相邻两帧中后一帧图像的鱼群行为特征，其中，p为相邻两帧中后一帧图像的鱼群质心，v为鱼群运动速度，a为鱼群运动加速度的绝对值，即鱼群活跃程度；S4、对Transformer模型进行处理并将预设长度的特征向量输入Transformer模型进行训练，所述对Transformer模型进行处理包括去除embedding层；S5、将待识别的预设长度的特征向量输入训练好的Transformer模型获得鱼群饥饿值，判断所述鱼群饥饿值是否大于预设阈值，若...

【专利技术属性】
技术研发人员：童文韬，钱浩天，马燕妮，曹迪，张乐超，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：