一种基于实例分割的活体鱼重量估计方法及系统技术方案

本发明专利技术提供一种基于实例分割的活体鱼重量估计方法及系统，属于图像处理技术领域，活体鱼重量估计方法包括：获取样本数据集；基于ResNet、PAN、SOLO神经网络及注意力机制，构建CAM

【技术实现步骤摘要】
一种基于实例分割的活体鱼重量估计方法及系统


[0001]本专利技术涉及图像处理领域，特别是涉及一种基于实例分割的活体鱼重量估计方法及系统。

技术介绍

[0002]在水产养殖中，定期获取养殖鱼类的重量对于水产养殖公司制定如鱼类分级管理、养殖密度监控与投喂量调节等养殖策略与管理计划具有重要意义，人工采样的方式不仅速度慢、成本高，而且对鱼类也会产生不可逆的伤害。因此通过自动化的活鱼重量估计方法代替人工采样得到了广泛的关注。
[0003]自动化的活鱼重量估计方法能够大大提高鱼类重量估计的效率，减少对人工的依赖，降低人工捕捞的风险，减少不必要的损失。现有技术中，如中国专利公开号CN104931120A的方案中通过超声波检测器检测网箱内鱼的检测图像，检测图像中包含多个鱼的图像块，将图像块与标准图像进行比较，若长宽均匹配，则将标准图像中鱼的重量作为图像块中鱼的重量，由于网箱内鱼的数量较多，遮挡比较严重，且鱼身体的弯曲度也会影响图像块的尺寸，因此CN104931120A的方案检测到的鱼的重量不够精准。
[0004]鱼类的重量与鱼类的周长、体长等尺寸参数密切相关，图像中往往包含了鱼类的尺寸信息，通过对图像中的鱼类进行实例分割，并结合水下双目视觉估计鱼类的周长，进而预测鱼类的重量，可以实现养殖鱼类重量的自动估计，弥补人工采样的缺陷。但是利用水下双目视觉估计鱼类周长的精确度受制于两方面因素，一方面养殖鱼类密度较高，遮挡比较严重；另一方面鱼类身体的弯曲度也会影响周长估计的精度，鱼类身体的弯曲度越大，误差也越大。
专利
技术实现思路

[0005]本专利技术的目的是提供一种基于实例分割的活体鱼类重量估计方法及系统，可提高对活体鱼重量估计的精确度。
[0006]为实现上述目的，本专利技术提供了如下方案：一种基于实例分割的活体鱼重量估计方法，包括：获取样本数据集；所述样本数据集中包括多张活体鱼样本图像及各活体鱼样本图像中活体鱼的真实轮廓；基于ResNet、PAN、SOLO神经网络及注意力机制，构建CAM
‑
SOLO神经网络；根据所述样本数据集，对CAM
‑
SOLO神经网络进行训练，得到分割网络模型；基于所述分割网络模型，根据待识别活体鱼图像，确定所述待识别活体鱼图像中各活体鱼的轮廓；根据所述待识别活体鱼图像中各活体鱼的轮廓，确定目标活体鱼及所述目标活体鱼的周长；基于周长
‑
重量预测模型，根据所述目标活体鱼的周长，确定所述目标活体鱼的重
量；所述周长
‑
重量预测模型为预先建立的活体鱼的周长与重量的关系模型。
[0007]可选地，所述获取样本数据集，具体包括：采用张正友标定法对双目相机进行标定，确定所述双目相机的内参矩阵和畸变系数；采用所述双目相机采集活体鱼的水下双目视频；根据所述水下双目视频，确定多张初始样本图像；针对每张初始样本图像，根据所述双目相机的内参矩阵和畸变系数，确定所述初始样本图像中样本活体鱼的体长估测值；根据所述样本活体鱼的体长估测值及所述初始样本图像中活体鱼的体长实测值，确定体长相对误差；若初始样本图像中包含一条活体鱼，则所述体长实测值为所述活体鱼的真实体长；若初始样本图像中包含多条活体鱼，则所述体长实测值为多条活体鱼的体长最大值；根据所述体长相对误差及预设的误差阈值，确定多张初始样本图像中的正样本及负样本，并对正样本及负样本中的活体鱼的轮廓进行标注，得到样本数据集。
[0008]可选地，所述根据所述双目相机的内参矩阵和畸变系数，确定所述初始样本图像中样本活体鱼的体长估测值，具体包括：根据所述内参矩阵，将所述初始样本图像转换到相机坐标系下，得到相机坐标系样本图像；根据所述畸变系数，对所述相机坐标系样本图像中的像素进行换算，并将所述相机坐标系样本图像转换到像素坐标系下，得到像素坐标系样本图像；计算所述像素坐标系样本图像中各像素点到双目相机平面的距离；根据所述像素坐标系样本图像中各像素点到双目相机平面的距离，将所述像素坐标系样本图像转换到世界坐标系下，得到世界坐标系样本图像；根据所述世界坐标系样本图像中样本活体鱼的三维坐标，确定所述样本活体鱼的体长估测值。
[0009]可选地，采用以下公式，确定样本活体鱼的体长估测值：；其中，为样本活体鱼的体长估测值，为样本活体鱼嘴巴的三维坐标，为样本活体鱼尾巴的三维坐标。
[0010]可选地，在所述初始样本图像中包含一条活体鱼时，采用以下公式确定体长相对误差：；在所述初始样本图像中包含多条活体鱼时，采用以下公式确定体长相对误差：；其中，RL为初始样本图像中包含一条活体鱼时的体长实测值，SL为初始样本图像
中包含多条活体鱼时的体长实测值，Error1为初始样本图像中包含一条活体鱼时的体长相对误差，Error2为初始样本图像中包含多条活体鱼时的体长相对误差，||为取绝对值运算。
[0011]可选地，所述根据所述样本数据集，对CAM
‑
SOLO神经网络进行训练，得到分割网络模型，具体包括：针对任一活体鱼样本图像，通过ResNet自底向上对所述活体鱼样本图像进行特征提取，得到第一特征图、第二特征图、第三特征图及第四特征图；通过PAN对所述第一特征图、所述第二特征图、所述第三特征图及所述第四特征图进行特征提取，确定第五特征图、第六特征图、第七特征图、第八特征图及第九特征图；针对第五特征图、第六特征图、第七特征图、第八特征图及第九特征图中的任一特征图，对所述特征图进行采样，得到网格特征图；对所述网格特征图进行多次卷积操作，确定所述网格特征图中各网格的类别预测结果；将所述特征图中各像素的坐标归一化，得到各像素的归一化横坐标及归一化纵坐标；根据所述特征图及所述特征图中各像素的归一化横坐标，确定第一掩码预测特征图；根据所述特征图及所述特征图中各像素的归一化纵坐标，确定第二掩码预测特征图；采用通道注意力机制对所述特征图中的像素建立关联关系，得到关联特征图；将所述第一掩码预测特征图与所述关联特征图进行串联，并卷积，得到第一分支特征图；将所述第二掩码预测特征图与所述关联特征图进行串联，并卷积，得到第二分支特征图；根据所述第一分支特征图、所述第二分支特征图及网格特征图中各网格的类别预测结果，确定所述特征图中活体鱼的预测轮廓；根据所述第五特征图、第六特征图、第七特征图、第八特征图及第九特征图中各网格的类别预测结果、活体鱼的预测轮廓及活体鱼的真实轮廓，确定损失函数，并根据损失函数对CAM
‑
SOLO神经网络进行迭代训练，直至损失函数收敛，以得到最优的CAM
‑
SOLO神经网络，最优的CAM
‑
SOLO神经网络为分割网络模型。
[0012]可选地，所述通过PAN对所述第一特征图、所述第二特征图、所述第三特征图及所述第四特征图进行特征提取，确定第五特征图、第六特征图、第七特征图、第八特征图及第九特征图，具体包括：对所述第一特征图进行卷积操作，得到第一中间特征图；对所述第二特征图进行卷积操作，得到第二中间特征图；对所述第三特征图进行卷积操作，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的活体鱼重量估计方法，其特征在于，所述基于实例分割的活体鱼重量估计方法包括：获取样本数据集；所述样本数据集中包括多张活体鱼样本图像及各活体鱼样本图像中活体鱼的真实轮廓；基于残差网络ResNet、PAN、SOLO神经网络及注意力机制，构建CAM
‑
SOLO神经网络；根据所述样本数据集，对CAM
‑
SOLO神经网络进行训练，得到分割网络模型；基于所述分割网络模型，根据待识别活体鱼图像，确定所述待识别活体鱼图像中各活体鱼的轮廓；根据所述待识别活体鱼图像中各活体鱼的轮廓，确定目标活体鱼及所述目标活体鱼的周长；基于周长
‑
重量预测模型，根据所述目标活体鱼的周长，确定所述目标活体鱼的重量；所述周长
‑
重量预测模型为预先建立的活体鱼的周长与重量的关系模型。2.根据权利要求1所述的基于实例分割的活体鱼重量估计方法，其特征在于，所述获取样本数据集，具体包括：采用张正友标定法对双目相机进行标定，确定所述双目相机的内参矩阵和畸变系数；采用所述双目相机采集活体鱼的水下双目视频；根据所述水下双目视频，确定多张初始样本图像；针对每张初始样本图像，根据所述双目相机的内参矩阵和畸变系数，确定所述初始样本图像中样本活体鱼的体长估测值；根据所述样本活体鱼的体长估测值及所述初始样本图像中活体鱼的体长实测值，确定体长相对误差；若初始样本图像中包含一条活体鱼，则所述体长实测值为所述活体鱼的真实体长；若初始样本图像中包含多条活体鱼，则所述体长实测值为多条活体鱼的体长最大值；根据所述体长相对误差及预设的误差阈值，确定多张初始样本图像中的正样本及负样本，并对正样本及负样本中的活体鱼的轮廓进行标注，得到样本数据集。3.根据权利要求2所述的基于实例分割的活体鱼重量估计方法，其特征在于，所述根据所述双目相机的内参矩阵和畸变系数，确定所述初始样本图像中样本活体鱼的体长估测值，具体包括：根据所述内参矩阵，将所述初始样本图像转换到相机坐标系下，得到相机坐标系样本图像；根据所述畸变系数，对所述相机坐标系样本图像中的像素进行换算，并将所述相机坐标系样本图像转换到像素坐标系下，得到像素坐标系样本图像；计算所述像素坐标系样本图像中各像素点到双目相机平面的距离；根据所述像素坐标系样本图像中各像素点到双目相机平面的距离，将所述像素坐标系样本图像转换到世界坐标系下，得到世界坐标系样本图像；根据所述世界坐标系样本图像中样本活体鱼的三维坐标，确定所述样本活体鱼的体长估测值。4.根据权利要求3所述的基于实例分割的活体鱼重量估计方法，其特征在于，采用以下公式，确定样本活体鱼的体长估测值：
；其中，为样本活体鱼的体长估测值，为样本活体鱼嘴巴的三维坐标，为样本活体鱼尾巴的三维坐标。5.根据权利要求2所述的基于实例分割的活体鱼重量估计方法，其特征在于，在所述初始样本图像中包含一条活体鱼时，采用以下公式确定体长相对误差：；在所述初始样本图像中包含多条活体鱼时，采用以下公式确定体长相对误差：；其中，RL为初始样本图像中包含一条活体鱼时的体长实测值，SL为初始样本图像中包含多条活体鱼时的体长实测值，Error1为初始样本图像中包含一条活体鱼时的体长相对误差，Error2为初始样本图像中包含多条活体鱼时的体长相对误差，||为取绝对值运算。6.根据权利要求1所述的基于实例分割的活体鱼重量估计方法，其特征在于，所述根据所述样本数据集，对CAM
‑
SOLO神经网络进行训练，得到分割网络模型，具体包括：针对任一活体鱼样本图像，通过ResNet自底向上对所述活体鱼样本图像进行特征提取，得到第一特征图、第二特征图、第三特征图及第四特征图；通过PAN对所述第一特征图、所述第二特征图、所述第三特征图及所述第四特征图进行特征提取，确定第五特征图、第六特征图、第七特征图、第八特征图及第九特征图；针对第五特征图、第六特征图、第七特征图、第八特征图及第九特征图中的任一特征图，对所述特征图进行采样，得到网格特征图；对所述网格特征图进行多次卷积操作，确定所述网格特征图中各网格的类别预测结果；将所述特征图中各像素的坐标归一化，得到各像素的归一化横坐标及归一化纵坐标；根据所述特征图及所述特征图中各像素的归一化横坐标，确定第一掩码预测特征图；根据所述特征图及所述特征图中各像素的归一化纵坐标，确定第二掩码预测...

【专利技术属性】
技术研发人员：安冬，于晓宁，王雅倩，位耀光，李道亮，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：