基于双视角融合的鱼类体尺测量和体重预测的方法及装置制造方法及图纸

本发明专利技术公开了一种基于双视角融合的鱼类体尺测量和体重预测的方法及装置，获取不同视角采集设备的内参矩阵和畸变系数；采集不同视角和不同条件下的鱼的图像序列，建立图像集；对图像集进行预处理；搭建Mask R

【技术实现步骤摘要】
基于双视角融合的鱼类体尺测量和体重预测的方法及装置


[0001]本专利技术涉及水产测量
，更具体的说是涉及一种基于双视角融合的鱼类体尺测量和体重预测的方法及装置。

技术介绍

[0002]目前，鱼类养殖业者要对鱼群的生长和发育状况评估，以调整进一步的养殖策略，就要不间断地获悉鱼的生长数据。鱼的体尺和体重等生长信息，记录着鱼在养殖过程中的生长情况，体尺信息的记录无论在鱼类遗传分析和育种等研究中还是在水产养殖中，都发挥着重要的作用。因此，对鱼的长度进行准确地监测和体重进行有效地估算，对于科学研究、饲养管理和收获都至关重要。
[0003]但是，目前最常用的鱼体尺测量方法有接触式和非接触式。接触测量方法需要养殖者抽选一小部分的鱼类样本将之捕获和麻醉，待取样鱼体静止，用人工方式测量鱼体的体长和全长的若干指标(图2)，以此数据统计作为整个鱼群的生长情况的评估。此方法准备工作耗时、费力且不易操作，且还可能会诱发鱼的生理应激反应，对被测鱼产生不良影响，如神经兴奋、食欲不振而导致的生长迟缓，甚至死亡。另一种非接触式测量手段，利用视觉装置和测量的软件系统来测量鱼类的体尺，以代替人工测量操作。近几十年来，计算机视觉技术和图像处理技术得到了迅速发展。一些方法把摄像机架设在养殖环境的水下，应用全局或半全局匹配的双目图像对像素进行投影到世界坐标系下的视觉估计，但由于水下养殖环境的视觉条件恶劣，如光照不足、光线不均、水中常有漂浮物、水体浑浊、鱼群密集遮挡情况严重，这些像素级匹配算法往往无法获得精准的体尺测量结果，产生较大的估测误差。另外从测量维度来说，基于机器视觉的鱼体尺测量方法包括两个方面：一是二维方法，即使用一台摄像机在一个平面上获取图像；第二种是由深度相机获取三维图像或多台相机同步多视角融合的方法。目前，多视角融合的测量方法越来越得到广泛的关注和更高的精度。
[0004]因此，对鱼非接触、无伤害、水下限位目标、水下关键点折射校正、以及能测量点定位和获取多个体尺长度指标是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于双视角融合的鱼类体尺测量和体重预测的方法及装置，通过视觉技术中的实例分割、关键点检测以及深度卷积神经网络的鱼体体尺长度自动测量，并利用回归卷积网络对体重进行估算和预测。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于双视角融合的鱼类体尺测量和体重预测的方法，包括以下步骤：
[0008]S1、获取不同视角采集设备的内参矩阵和畸变系数，根据采集实际环境，标注不同视图中水域面的四个点，记录这四个点的真实世界的三维坐标；
[0009]S2、采集不同视角和不同条件下的鱼的图像序列，建立图像集，并将图像集按比例划分为训练集、验证集和测试集；
[0010]S3、对图像集进行预处理；
[0011]S4、搭建Mask R
‑
CNN网络模型，采用ResNet50+FPN的主干网络进行目标区域的特征提取，用划分的训练集和验证集对该模型进行训练和验证，网络输出为Mask分支和关键点分支；
[0012]S5、从Mask分支输出不同视角视图的像素级目标掩膜；
[0013]S6、从关键点检测分支获得不同视角视图的关键点热图；
[0014]S7、用训练好的Mask R
‑
CNN网络模型，对图像集中的测试集进行测试，获得测试集中鱼的分割掩膜和检测关键点，将关键点坐标经折射校正后转化为真实世界距离，获取鱼的体尺数据信息，并依据多帧图像序列计算各项体尺中位数指标；
[0015]S8、基于训练集和样本真实体重值，训练第二回归神经网络模型，用于体重预测；
[0016]S9、可视化展示视觉测量出的体尺指标和预测的体重数值。
[0017]优选的，所述步骤S1具体包括：
[0018]S11、采集设备以固定焦距对平面标定板从不同的角度、不同位置和不同距离随机拍摄一组25张的图像，采集设备在平面标定板前移动相对随意；
[0019]S12、寻找平面标定板上棋格的内角点，求解出采集设备的内参矩阵；
[0020]S13、根据采集设备内部参数的计算结果对摄像机进行多次映射计算，实现对拍摄图像的矫正处理，求解出采集设备的畸变系数。
[0021]优选的，所述步骤S2中，视角包括俯视及侧视，所述条件包括不同种类、不同大小、不同光照条件、不同水质条件。
[0022]优选的，所述步骤S3中预处理包括：图像增强、光照均衡化、镜头畸变矫正和水中折射校正。
[0023]优选的，所述步骤S4具体包括：
[0024]在每个感兴趣区域上增加一个预测分割掩膜的分支，称为Mask分支，该分支平行于分类层和边界框回归层的目标检测分支，Mask分支将一个小的全卷积网络FCN应用于单个RoI，通过输出掩膜和输入图像的像素
‑
像素对齐来预测分割掩膜；
[0025]关键点检测分支是通过一个目标检测网络对每一个单独的RoI进行检测，并利用网络的关键点分支对每个区域分别进行关键点检测；
[0026]语义分割和关键点检测都包含目标检测任务，因此，在网络结构上，采用ResNet50+特征金字塔网络FPN作为主干网进行特征提取，之后连接三个并行分支：检测分支、Mask分支和关键点分支。
[0027]优选的，所述步骤S5具体包括：在RoIAlign模块之后，有一个卷积层头部，其内核为1
×
1，用于扩大RoIAlign输出的维数；由一个卷积网络组成，将RoI分类器选择的区域进行反卷积，生成低分辨率的软掩码，在训练阶段，将被标记的掩码按比例缩小到28
×
28来计算损失，在推理阶段，将预测的软掩码按比例扩大到RoI边界框的大小，使用阈值进行二值化。
[0028]优选的，所述步骤S6具体包括：通过RoIAlign模块将RPN网络生成的RoIs聚集映射到特征图上，提取相应的鱼体区域特征；然后，将每个RoI的特征送入到8个连续的3
×
3内核的卷积层中，提取关键点特征；然后通过反卷积得到28
×
28的热图；反卷积后对热图进行双线性上采样，得到尺寸为K
×
56
×
56的热图；最后，对原始图像的大小进行上采样和映射得
到关键点的位置；关键点分支输出为K个关键点在原图中的位置。
[0029]优选的，其特征在于，所述步骤S7具体包括：
[0030]用训练好的Mask R
‑
CNN网络模型，对图像集中的测试集进行测试，首先获得测试集双视角图像中鱼的分割掩膜以及若干检测关键点，获得的关键点坐标都是二维图像坐标，以某点在侧视和俯视图像中的坐标P1和坐标P2为例来说明由图像坐标转化为真实世界坐标的过程；选定鱼缸边角某点为世界坐标系原点(0,0,0)，求解由光心引出的射线方向向量，即相机主光轴在世界坐标系中的射线表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，包括以下步骤：S1、获取不同视角采集设备的内参矩阵和畸变系数，根据采集实际环境，标注不同视图中水域面的四个点，记录这四个点的真实世界的三维坐标；S2、采集不同视角和不同条件下的鱼的图像序列，建立图像集，并将图像集按比例划分为训练集、验证集和测试集；S3、对图像集进行预处理；S4、搭建MaskR
‑
CNN网络模型，采用ResNet50+FPN的主干网络进行目标区域的特征提取，用划分的训练集和验证集对该模型进行训练和验证，网络输出为Mask分支和关键点分支；S5、从Mask分支输出不同视角视图的像素级目标掩膜；S6、从关键点检测分支获得不同视角视图的关键点热图；S7、用训练好的MaskR
‑
CNN网络模型，对图像集中的测试集进行测试，获得测试集中鱼的分割掩膜和检测关键点，将关键点坐标经折射校正后转化为真实世界距离，获取鱼的体尺数据信息，并依据多帧图像序列计算各项体尺中位数指标；S8、基于训练集和样本真实体重值，训练第二回归神经网络模型，用于体重预测；S9、可视化展示视觉测量出的体尺指标和预测的体重数值。2.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S1具体包括：S11、采集设备以固定焦距对平面标定板从不同的角度、不同位置和不同距离随机拍摄一组25张的图像，采集设备在平面标定板前移动相对随意；S12、寻找平面标定板上棋格的内角点，求解出采集设备的内参矩阵；S13、根据采集设备内部参数的计算结果对摄像机进行多次映射计算，实现对拍摄图像的矫正处理，求解出采集设备的畸变系数。3.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S2中，视角包括俯视及侧视，所述条件包括不同种类、不同大小、不同光照条件、不同水质条件。4.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S3中预处理包括：图像增强、光照均衡化、镜头畸变矫正和水中折射校正。5.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S4具体包括：在每个感兴趣区域上增加一个预测分割掩膜的分支，称为Mask分支，该分支平行于分类层和边界框回归层的目标检测分支，Mask分支将一个小的全卷积网络FCN应用于单个RoI，通过输出掩膜和输入图像的像素
‑
像素对齐来预测分割掩膜；关键点检测分支是通过一个目标检测网络对每一个单独的RoI进行检测，并利用网络的关键点分支对每个区域分别进行关键点检测；语义分割和关键点检测都包含目标检测任务，因此，在网络结构上，采用ResNet50+特征金字塔网络FPN作为主干网进行特征提取，之后连接三个并行分支：检测分支、Mask分支
和关键点分支。6.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S5具体包括：在RoIAlign模块之后，有一个卷积层头部，其内核为1
×
1，用于扩大RoIAlign输出的维数；由一个卷积网络组成，将RoI分类器选择的区域进行反卷积，生成低分辨率的软掩码，在训练阶段，将被标记的掩码按比例缩小到28
×
28来计算损失，在推理阶段，将预测的软掩码按比例扩大到RoI边界框的大小，使用阈值进行二值化。7.根据权利要求1所述的一种基于双视角融合的鱼类体尺测量和体重预测的方法，其特征在于，所述步骤S6具体包括：通过RoIAlign模块将RPN网络生成的RoIs聚集映射到特征图上，提取相应的鱼体区域特征；然后，将每个RoI的特征送入到8个连续的3
×
3内核的卷积层中，提取关键点特征；然后通过反卷积得到28
×
28的热图；反卷积后对热图进行双线性上采样，得到尺寸为K
×
56
×
56的热图，其中，K为关键点的个数；最后，对原始图像的大小进行上采样和映射得到关键点的位置；关键点分支输出为K个关键点在原图中的位置。8.根...

【专利技术属性】
技术研发人员：郑婵，薛月菊，胡俊茹，黄龙，丁成章，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：