【技术实现步骤摘要】
本专利技术涉及海洋工程，尤其是一种基于计算机视觉的养殖鱼类全周期识别方法。
技术介绍
1、网箱养殖是一种高密度、高效益的养殖方式，可以充分利用有限的水域资源，生产富含蛋白质的高质量水产品。但是高聚集的养殖鱼类也带来了较高的技术难度，微小的问题可能被放大到全局，一条鱼的病害可能快速传染到成千上万条并造成巨大的损失，因此对养殖鱼类的状态进行全周期识别是需要重点解决的关键技术之一，做到准确量化评估这一动态过程，能够有效监控养殖鱼类的健康和生存环境，有利于及时发现问题并采取相应措施。
2、现有技术中多采用两类方法进行对养殖鱼类生存状态的监控，其中一类主要依靠人工巡察以及定期抄网取样观察，以判断鱼群的生存状态，该类手段较为粗放，需要花费大量的人力成本，并且，间隔获取信息无法实时掌握养殖鱼类的最新状态；另一类采用立体相机或者声纳感知监测鱼群状态，但是，该类手段只能对整体情况进行宏观评估，无法跟踪具体样例的全养殖周期的生长状态，较为粗放。
技术实现思路
1、本申请人针对上述现有生产技术中的缺点，提供一种结构合理的基于计算机视觉的养殖鱼类全周期识别方法，通过基于计算机视觉将实例分割与三维模型进行数据融合，从而能够对养殖水体区域内鱼群整体的状态进行监测，并能够对不同养殖鱼个体进行精细化识别与全周期跟踪。
2、本专利技术所采用的技术方案如下：
3、一种基于计算机视觉的养殖鱼类全周期识别方法，包括如下操作步骤：
4、s1.在养殖水体区域内，布置数个立体相机
5、s2.基于立体匹配算法，将步骤s1.中获取到的多视角图像构建三维点云；
6、s3.将步骤s2.中获得的三维点云投影为二维图像，并且，将三维点云中每个点的深度信息转换为对应二维图像像素的深度信息；
7、s4.基于步骤s3.中得到的所述二维图像进行实例分割，从而建立初步的养殖水体区域内鱼群数据库；
8、s5.基于步骤s2.中的三维点云，建立养殖水体区域内鱼群的三维模型，并对所述三维模型进行纹理映射；
9、s6.对于每个养殖鱼个体，将s4.中实例分割的数据与s5.中三维模型的对应数据进行融合，并根据融合结果对步骤s4.中初步的养殖水体区域内鱼群数据库进行数据更新；
10、在长时间序列监测下，将养殖水体区域内的每个养殖鱼个体的量化尺寸信息录入更新后的养殖水体区域内鱼群数据库中，从更新后的养殖水体区域内鱼群数据库中获取每个养殖鱼个体对应的量化尺寸信息，并创建生成养殖鱼群状态报告，从而推算出养殖水体区域内每个养殖鱼个体的生长情况。
11、作为上述技术方案的进一步改进：
12、s1.中，养殖水体区域内的数个立体相机均采用标定板进行标定。
13、s2.中，构建三维点云时，包括如下步骤：
14、首先采用卷积神经网络进行预处理，从而对不同的图像进行降噪、修复；
15、然后进行特征提取、特征匹配，从而获取两两图像之间对应的立体相机位置的空间姿态变换；
16、最后结合立体相机参数进行投影和反投影，从而完成三维点云的稠密重建。
17、s2.中，构建三维点云时，需要进行配准。
18、s4.中，采用mask r-cnn算法进行实例分割。
19、采用mask r-cnn算法进行实例分割时，包括如下步骤：
20、基于步骤s3.中获得的二维图像的数据，通过resnet提取二维图像的特征，从而生成resnet特征图；
21、随后采用prn生成选框；
22、通过prn生成的选框从resnet特征图中提取出固定大小的roi align特征图；
23、通过全连接层对roi align特征图进行分类以及边界框回归，分类用于判断选框的类别，边界框回归用于精确定位目标养殖鱼个体的位置；
24、对roi align特征图进行卷积和上采样，从而对应生成与输入二维图像相同大小的二进制掩码，从而完成实例分割；
25、将每个实例按照fishi，i为常数，i＝1、2、3......的形式进行编号、标记、排序，形成初步的养殖水体区域内鱼群数据库，供整个养殖水体区域内鱼群状态评估使用。
26、s5.中，建立养殖水体区域内鱼群的三维模型时，包括如下步骤：
27、首先，使用移动最小二乘法根据三维点云的形状和密度进行自适应调整，对三维点云的表面进行重建，从而生成光滑曲面模型；
28、其次，将所述曲面模型划分为一系列的三角形，完成网格的生成，将所述曲面模型转化为三角网格模型，以便后续的处理和应用；
29、再次，对所述三角网格模型进行优化，使用网格简化法去除不必要的细节，使用拓扑修复法修复三角网格模型的缺陷，使用孔洞填充法填补三角网格模型上的孔洞，以提高质量和真实感；
30、最后，将对应三维点云的原始纹理图像采集提取并映射到三角网格模型表面，根据纹理坐标和纹理图像的像素值，将三角网格模型表面上的点与对应的纹理像素关联，再通过双线性插值进行纹理映射，从而生成养殖水体区域内鱼群的三维模型。
31、s5.中，所述三维模型与养殖水体区域内鱼群的每个养殖鱼个体一一对应。
32、s6.中，进行数据融合时，包括如下步骤：
33、根据实例分割中每个实例的数据追寻所依据的三维点云的原始数据，根据该原始数据搜寻对应的三维模型，从而将实例分割和对应的三维模型进行对齐；
34、采用深度卷积网络提取实例分割和三维模型中两边的图像特征；使用特征加权的融合策略将提取的图形特征进行融合。
35、在进行数据融合过程中，能够利用三维模型的数据获取实例分割数据中对应养殖鱼个体实例的三维边界框，然后将所述边界框与实例分割结果进行立体匹配，从而获取更准确的实例分割结果。
36、本专利技术的有益效果如下：
37、本专利技术结构紧凑、合理，操作方便，通过对鱼群进行量化分析，并且对鱼群内的每个养殖鱼个体进行全生命周期的监测管理，从而能够精确获取到每个养殖鱼个体的量化尺寸信息，进而能够获取到整个鱼群的生存状态，实现鱼类养殖智能化管理。
38、本专利技术中布置多个立体相机采集时序鱼群图像，以作为后续实例分割和三维建模的初始数据源，能够保证后续进行数据库更新的准确性，从而完成对每个养殖鱼个体的精确识别、标记、监测。
39、本专利技术通过无接触的方式对鱼群状态进行监测、对单个养殖鱼个体进行准确识别，是非侵入式的识别方法，相较于传统的人工观察及手动测量，无需人工干预，能够避免抄网采样时对鱼类的惊扰、损伤，能够降低人力成本，并且能够对大规模的鱼类样本进行充分完全分析和处理，从而能够应对复杂的鱼类环境和场景变化。
40、本专利技术能够实时快速识别、量化评估立体相机视野中的养殖鱼类的量化尺寸信息，通过准本文档来自技高网...
【技术保护点】
1.一种基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：包括如下操作步骤：
2.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S1.中，养殖水体区域内的数个立体相机均采用标定板进行标定。
3.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S2.中，构建三维点云时，包括如下步骤：
4.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S2.中，构建三维点云时，需要进行配准。
5.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S4.中，采用Mask R-CNN算法进行实例分割。
6.如权利要求5所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：采用Mask R-CNN算法进行实例分割时，包括如下步骤：
7.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S5.中，建立养殖水体区域内鱼群的三维模型时，包括如下步骤：
8.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其
9.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：S6.中，进行数据融合时，包括如下步骤：
10.如权利要求9所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：在进行数据融合过程中，能够利用三维模型的数据获取实例分割数据中对应养殖鱼个体实例的三维边界框，然后将所述边界框与实例分割结果进行立体匹配，从而获取更准确的实例分割结果。
...【技术特征摘要】
1.一种基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：包括如下操作步骤：
2.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：s1.中，养殖水体区域内的数个立体相机均采用标定板进行标定。
3.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：s2.中，构建三维点云时，包括如下步骤：
4.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：s2.中，构建三维点云时，需要进行配准。
5.如权利要求1所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：s4.中，采用mask r-cnn算法进行实例分割。
6.如权利要求5所述的基于计算机视觉的养殖鱼类全周期识别方法，其特征在于：采用mask r-c...
【专利技术属性】
技术研发人员：俞俊，程小明，朱芸芸，弓国栋，
申请(专利权)人：中国船舶科学研究中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。