一种基于人工智能实现的鱼类体表多尺寸测量方法技术

本发明专利技术公开了一种基于人工智能实现的鱼类体表多尺寸测量方法，采集鱼类图片，鱼类图片背景中包括比例尺；对于鱼类图片进行标注，将鱼类图片和对应的标签作为一个样本，生成训练数据集和验证数据集；将训练数据集输入到深度学习模型，对深度学习模型进行训练；将待检测的样本输入训练好的深度学习模型，计算鱼体尺寸。本发明专利技术具有通用性，适用于多种鱼类大规模采样时，获取鱼体多方面尺寸的需求，具有高效、准确、减少人工误差的性质，最重要的是，大大降低了人工成本和作业量。大降低了人工成本和作业量。大降低了人工成本和作业量。

【技术实现步骤摘要】
一种基于人工智能实现的鱼类体表多尺寸测量方法


[0001]本专利技术属于生物信息学
，具体涉及一种基于人工智能实现的鱼类体表多尺寸测量方法。

技术介绍

[0002]在过去二十年间，全球水产养殖产量不断增加，其中鲶、鲤、罗非鱼、双壳贝类等主要种类占水产养殖产量的75%。但是水产养殖行业仍然面临着数字化程度低，智能化设施少，劳动力生产效率低等问题。在水产养殖过程中，水产生物的尺寸数据对于渔业研究人员来说是一项重要的基础信息，但是其测量往往需要花费大量的人力物力，且随着测量指标的增加而增加，效率较低，且易受影响。
[0003]人工智能技术在水产行业的发展为上述提到的问题开拓了解决的新思路。近几年来，随着摄像设备的发展和建设，得到的鱼类图像越来越丰富，为了获取详细的鱼类尺寸信息，国内外的相关学者基于计算机视觉技术在智能化鱼类尺寸测量做出了大量的研究。一部分研究思路是对拍摄图像进行预处理，提取轮廓，再通过算法获取到特征点，基于特征点计算像素点的距离。另一种思路是基于深度学习的方法检测出特定区域的位置，根据得到的边界框计算尺寸数据，再根据比例尺关系得到最终的尺度信息。以上的方法要么是适用范围小，易受环境干扰，要么就是测量的指标有限，只能获得鱼体长度和宽度两个方面的尺寸，无法满足更多的需求。另外这些方法可能还需要一些硬件设备的投入，且前人的工作中只给出了图像处理的方法，没有开发出可以直接使用的识别软件。
[0004]本专利技术实现了一种基于人工智能技术实现的鱼类体表多尺寸测量方法，对实现无接触、标准化、快速测量鱼类尺寸数据，大大减少人工作业量有重要意义。我们使用YOLOv5作为深度学习框架，根据人工标记的图像训练集的不同，能够灵活的改变识别物种、关键点个数和关键点位置，并且支持多种智能终端作为图像的采集上传设备，无需额外硬件设备的投入，也无需固定图像采集设备与目标鱼类之间的距离。该方法在实际大规模进行鱼类尺寸测量任务中具有实用性和可行性。我们还搭建了方便渔业人员使用的在线平台FishRuler，训练了草鱼识别模型，进行了草鱼的多尺寸测量测试，和人工测量数据相比具有很高的准确性。基于鱼类共同特征，对其他30余种鱼类也进行了测试。基于人工智能的鱼类尺寸测量工具的开发，解决了前人工作中无法对鱼类多个尺寸进行测量，且没有可以直接使用的识别软件的问题。

技术实现思路

[0005]本专利技术的目的在于针对现有技术存在的上述问题，提供一种基于人工智能实现的鱼类体表多尺寸测量方法。能够快速、准确的获取鱼类体表所需要的尺寸数据，且不需要额外的硬件设施投入，方便使用者的使用，减少成本的投入。
[0006]为了实现上述目的，本专利技术采用以下技术方案：一种基于人工智能实现的鱼类体表多尺寸测量方法，包括以下步骤：
步骤S1、采集鱼类图片，鱼类图片背景中包括比例尺；步骤S2、对于鱼类图片标注鱼体位置、鱼体关键点、比例尺位置、以及比例尺关键点，将鱼类图片和对应的标签作为一个样本，基于各个样本生成训练数据集和验证数据集；步骤S3、使用步骤S2中制作好训练数据集输入到深度学习模型，深度学习模型输出包括鱼体位置、鱼体关键点、比例尺位置与比例尺关键点，构建损失函数lossX，对深度学习模型进行训练；步骤S4、将待检测的样本输入训练好的深度学习模型，深度学习模型输出对应的鱼体位置、鱼体关键点、比例尺位置与比例尺关键点，计算鱼体尺寸。
[0007]如上所述步骤S2中，还包括通过几何变换方法和颜色空间变换方法对鱼类图片进行扩增，几何变换方法包括对鱼类图片进行旋转、缩放、裁剪以及镜像对称变换，颜色空间变换方法包括对鱼类图片进行对比度变化、亮度变化、饱和度变化、颜色空间转换、以及颜色扰动。
[0008]如上所述步骤S3中，深度学习模型包括主干网络、网络层、以及预测层，主干网络中，将输入的被缩放的原始鱼类图片转化为多层特征图并输入到网络层，网络层将输入的多层特征图进行多尺度特征融合得到融合特征图并输入到预测层，预测层对检测目标位置和检测目标关键点进行获取并输出，检测目标包括鱼体和比例尺，检测目标关键点包括鱼体关键点和比例尺关键点。
[0009]如上所述主干网络中，使用CSPDarknet53轻量级网络结构，使用一个Stem模块替换CSPDarknet53轻量级网络结构中的Focus层。
[0010]如上所述网络层中，采用FPN特征金字塔结构与PAN结构，通过上采样和下采样将多层特征图进行多尺度特征融合，经过自顶向下和自下向上部分的特征融合后，得到融合特征图。
[0011]如上所述预测层中，检测目标位置的获取包括以下步骤：多个不同步长的输出块将融合特征图分割成不同大小的网格结构，每个网格设置三个重叠交叉的不同长宽比的锚框，对每个锚框进行预测边界框回归计算，根据鱼类图片的标签信息对融合特征图上的每个锚框进行判断：判断锚框中是否有要检测目标，检测目标中心坐标与锚框中心坐标的偏差以及存在的要检测目标属于鱼体还是比例尺，并计算锚框包含检测目标的置信度，通过比较，得到包含检测目标置信度最大的锚框，作为检测目标的边界框，进而获得检测目标位置。
[0012]如上所述预测层中，检测目标关键点坐标的获取包括以下步骤：在预测层中添加关键点回归预测层，在训练前计算所有训练集数据中目标所在位置的中心点坐标与关键点坐标的距离关系，进行聚类计算，将要识别的鱼体关键点和鱼体位置关联，将要识别的比例尺关键点与比例尺位置关联，然后把聚类结果作为预测层的先验信息，从而在预测层获得检测目标的位置后，得到对应的预测关键点所在的位置。
[0013]如上所述损失函数lossX基于以下公式：，其中，是关键点回归损失函数的加权因子，为目标检测损失函数，为关键点损失函数。
[0014]如上所述目标检测损失函数基于以下公式：
，其中，a1，b1，c1均为权重系数，为包围检测目标的边界框损失值，为边界框内检测目标所属类别概率的损失值，是边界框的置信度损失值。
[0015]与现有技术相比，本专利技术具有以下优点：无需额外硬件设施的投入，成本低廉，检测的尺寸数据可灵活改变。我可以避免额外的硬件设施投入，在大规模进行鱼类采样时，只要拍摄背景单一，比例尺可自定义大小，采集图像的设备使用手机即可进行。对于采集到的鱼类图片，可以准确获取单张鱼类图像中的尺寸数据，或者实现对鱼类图片的批量处理，批量获取尺寸数据信息。根据训练数据集的检测目标关键点的不同，可以灵活改变鱼体上识别到的关键点，从而获得不同的体表尺寸信息。本专利技术可对任何品种的鱼类进行体表尺寸数据的测量。基于鱼类的共同特征，本专利技术选择了草鱼（鲤形目鲤科）作为深度学习模型的数据来源，并对其他鱼类图像也进行了收集和验证，均取得了很好的效果。由此证明，本专利技术具有很好的通用性。
附图说明
[0016]图1为本专利技术的总体实现流程图。
[0017]图2为本专利技术中使用的鱼类照片简笔图。
[0018]图3为本专利技术中训练数据集制作时标注鱼类关键点与比例尺关键点的位置示意图（比例尺以十字型为例）。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能实现的鱼类体表多尺寸测量方法，其特征在于，包括以下步骤：步骤S1、采集鱼类图片，鱼类图片背景中包括比例尺；步骤S2、对于鱼类图片标注鱼体位置、鱼体关键点、比例尺位置、以及比例尺关键点，将鱼类图片和对应的标签作为一个样本，基于各个样本生成训练数据集和验证数据集；步骤S3、使用步骤S2中制作好训练数据集输入到深度学习模型，深度学习模型输出包括鱼体位置、鱼体关键点、比例尺位置与比例尺关键点，构建损失函数lossX，对深度学习模型进行训练；步骤S4、将待检测的样本输入训练好的深度学习模型，深度学习模型输出对应的鱼体位置、鱼体关键点、比例尺位置与比例尺关键点，计算鱼体尺寸。2.根据权利要求1所述一种基于人工智能实现的鱼类体表多尺寸测量方法，其特征在于，所述步骤S2中，还包括通过几何变换方法和颜色空间变换方法对鱼类图片进行扩增，几何变换方法包括对鱼类图片进行旋转、缩放、裁剪以及镜像对称变换，颜色空间变换方法包括对鱼类图片进行对比度变化、亮度变化、饱和度变化、颜色空间转换、以及颜色扰动。3.根据权利要求2所述一种基于人工智能实现的鱼类体表多尺寸测量方法，其特征在于，所述步骤S3中，深度学习模型包括主干网络、网络层、以及预测层。主干网络中，将输入的被缩放的原始鱼类图片转化为多层特征图并输入到网络层，网络层将输入的多层特征图进行多尺度特征融合得到融合特征图并输入到预测层，预测层对检测目标位置和检测目标关键点进行获取并输出，检测目标包括鱼体和比例尺，检测目标关键点包括鱼体关键点和比例尺关键点。4.根据权利要求3所述一种基于人工智能实现的鱼类体表多尺寸测量方法，其特征在于，所述主干网络中，使用CSPDarknet53轻量级网络结构，使用一个Stem模块替换CSPDarknet53轻量级网络结构中的Focus层。5.根据权利要求3所述一种基于人工智能实现的鱼类体表多尺寸测量方法，其特...

【专利技术属性】
技术研发人员：夏晓勤，曹丹莹，石米娟，张婉婷，程莹寅，
申请(专利权)人：中国科学院水生生物研究所，
类型：发明
国别省市：