一种基于神经网络的小龙虾质量分级方法技术

本发明专利技术公开一种基于神经网络的小龙虾质量分级方法，包括(1)采集构建小龙虾数据集，将其随机划分为训练集、验证集及测试集；(2)针对自采集数据图片，在pytorch框架下利用鲸鱼算法提高anchor检测框定位精度、构建ResNet152分类网络，将改进后的模型进行数据训练并反复验证测试，对龙虾进行定位识别，采用一种基于距离的细化算法提取龙虾骨架，按照姿态完成虾尾形状分类，完成新鲜度及颜色分类结果。(3)采用将龙虾图片进行二进制图像转换的方法，计算虾体像素点所占比重，按阈值进行规格分类。(4)按照(2)和(3)的分类结果进行不同等级的分拣。本发明专利技术将深度学习与图像处理技术融合，对龙虾的定位更加准确、形态检测的精度更高，速度更快。快。快。

【技术实现步骤摘要】
一种基于神经网络的小龙虾质量分级方法


[0001]本专利技术属于深度学习和目标检测
，具体涉及一种基于神经网络的 小龙虾质量分级方法。

技术介绍

[0002]近年中国小龙虾产业规模增长迅速，2019年产量已达245.9万吨，五年内 接近翻了两番。同时，小龙虾加工手段不断优化，行业不断朝规范化方向发展。 根据目前中国小龙虾加工产品的市场调查来看，主要生产虾球、虾仁、整虾三 种产品。在生产虾球时，加工厂需要将小龙虾煮至半熟状态，即小龙虾的外壳 已被煮熟，呈红色，但虾仁仍未全熟。此时，小龙虾的形态与生产之前相比有 所不同，如果是蒸煮前的虾为活虾，加工后的虾尾呈蜷曲状，但如果是蒸煮前 的虾为死虾，虾尾仍会保持原有的线状。为了保证产品的质量和口感，需要对 加工产品进行分类，将不合格的死虾与合格的活虾进行区分。同时，为了划分 小龙虾加工产品的质量等级，需要对合格小龙虾的个头及颜色进行分级，方便 不同品质小龙虾价格的制定。
[0003]现阶段，小龙虾加工业仍属于劳动密集型产业，雇佣劳动力的资金支出占 生产总成本的比例较大。小龙虾加工产品的分级分拣工作大多还是人工完成， 工作量大、效率低、人力成本高，对技术和设备的依赖程度低。针对食品自动 分级的研究和系统并不鲜见，机器视觉技术在水果、宝石、作物等产品分级中 的应用已较为成熟，但针对小龙虾品质分级的相关研究较少。近年随着深度学 习技术的发展，结合传统机器学习算法可以降低小龙虾加工产品自动分级的难 度，提高其分级精度。已有的小龙虾品质分级方法仅单独根据颜色或者大小进 行区分，未将两者进行综合考虑，且未考虑虾的蜷曲程度，很难从颜色、大小、 死活等多方面实现小龙虾的品质分级，可靠性低，因此设计一种根据不同外观 属性进行品质分级的方法对于小龙虾加工行业的自动化发展有着重大意义。

技术实现思路

[0004]本专利技术针对现有技术的不足，提供一种基于神经网络的小龙虾质量分级方 法，通过对小龙虾加工后的蜷曲形状、颜色和大小等特征进行综合分析，根据 多种特征进行小龙虾的品质分级，解决了现有的小龙虾加工过程中品质分级依 据少、可靠性低的问题，能够有效实现小龙虾的品质分级。
[0005]为了达到上述目的，本专利技术提供的技术方案是一种基于神经网络的小龙虾 质量分级方法，包括以下步骤：
[0006]步骤1，获取小龙虾图像数据集，并进行人工标注，然后按一定比例划分 为训练集与测试集；
[0007]步骤2，采用YOLOv5网络作为检测模型用于定位小龙虾目标框区域，并 对小龙虾目标框区域进行裁剪并进一步判断小龙姿态及虾尾部形状，根据小龙 虾虾尾的形状判断其质量是否合格；
[0008]步骤3，采用ResNet152分类网络对合格的小龙虾图像进行颜色属性分类， 分为鲜红、暗红两类；
[0009]步骤4，对合格的小龙虾图像进行大小属性分类，共分为大、中、小三类；
[0010]步骤5，待小龙虾颜色和大小分类任务均完成后，统计小龙虾两种属性的 类别，将小龙虾划分为一级品、二级品、三级品和合格品。
[0011]进一步的，步骤2中利用YOLOv5网络将输入的小龙虾图像自动划分为 S
×
S格，待测小龙虾的中心坐标落在某个网格中，则网格负责检测小龙虾目标； 检测过程中，每个S
×
S网格单元预测N个检测框，N可根据具体数据集在参数 中调整，每个检测框包含5个预测值：x、y、w、h以及置信度，其中x、y为检 测框中心点坐标，w、h为检测框宽度和高度。
[0012]进一步的，步骤2中采用YOLOv5网络定位小龙虾目标框区域的具体实现 方式如下；
[0013]通过基于K
‑
mean和鲸鱼算法的自适应anchor计算方法改进YOLOv5网络 中的anchor定位，具体如下；
[0014]将目标anchor划分为K类聚类中心，选取适应度函数为：
[0015][0016]式中，box
i
与center
j
分别表示第i个目标框与第j个聚类中心，D
ciou
是 CIOU距离公式，对于目标框与聚类中心逼近的距离，采用CIOU的距离计算方 式，即当目标框与聚类中心无限重合且宽高一致的情况下，适应度最好，定位 最为准确；
[0017]采用鲸鱼算法初始化种群并更新最优目标框，初始化N个目标框的位置信 息，计算每一个目标框的适应度，并选取适应度最小的目标框假定为当前最优 解，随后进行下一次迭代，直到达到适应度中止阈值完成筛选；
[0018]目标框的逼近方式为逼近最优目标框位置，其计算公式为：
[0019][0020]式中，n为迭代次数，x
in
为当前迭代个体值，x
best
为当前最优目标框位置， A为多维均匀分布的随机数，C为均匀分布在(0
‑
2)的随机数；
[0021]或者逼近随机目标框位置，其计算公式为：
[0022][0023]式中，x
rand
为随机位置的目标框；
[0024]最终得到最优的小龙虾目标框的中心点坐标以及宽、高的归一化值(x，y， w，h)，以此计算目标框的左上角以及右下角坐标，计算公式为：
[0025][0026]式中，(x1,y1)和(x2,y2)分别为目标框的左上角和右下角的坐标。
[0027]进一步的，步骤2中YOLOv5的损失函数由三个部分组成，公式为：
[0028][0029]式中，L
ciou
是边界框损失，用于计算小龙虾预测框与真实框之间的偏差； L
conf
为置信度损失，用于确定先验框内是否存在小龙虾目标；L
class
为分类损失， 用于计算小龙虾分类的偏差；若先验框内不存在小龙虾目标，仅计算置信度损 失，若存在小龙虾目标，则三类损失都要计算；S2特征图尺度，B为先验框， λ
noobj
为权重系数，若第i网格的第j先验框处有目标，分别取1与0， 若没有目标，分别取0与1；ρ(
·
)为欧氏距离，c为预测框与真实框闭包区域的 对角线距离；b、w、h为预测框的中心坐标、宽和高；b
gt
、w
gt
、h
gt
为真实框的 中心坐标、宽和高；为预测框与人工标注框的置信度；为预测 框与人工标注框的类别概率。
[0030]进一步的，步骤2中对小龙虾目标框区域进行裁剪并进一步判断小龙姿态 及虾尾部形状，根据小龙虾虾尾的形状判断其质量是否合格，具体实现方式如 下；
[0031]设置小龙虾目标框左上角的横坐标恒大于0，从而完成小龙虾目标的裁剪；
[0032]然后对裁剪得到的小龙虾图片进行二值化处理，计算非零像素点到最近的 零像素点的距离，即计算二值图像中白色像素点距离其最近黑色边缘的距离提 取所有距离黑色像素点最远的像素点连接的区域即为图像骨架轮廓；
...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的小龙虾质量分级方法，其特征在于，包括如下步骤：步骤1，获取小龙虾图像数据集，并进行人工标注，然后按一定比例划分为训练集与测试集；步骤2，采用YOLOv5网络作为检测模型用于定位小龙虾目标框区域，并对小龙虾目标框区域进行裁剪并进一步判断小龙姿态及虾尾部形状，根据小龙虾虾尾的形状判断其质量是否合格；步骤3，采用ResNet152分类网络对合格的小龙虾图像进行颜色属性分类，分为鲜红、暗红两类；步骤4，对合格的小龙虾图像进行大小属性分类，共分为大、中、小三类；步骤5，待小龙虾颜色和大小分类任务均完成后，统计小龙虾两种属性的类别，将小龙虾划分为一级品、二级品、三级品和合格品。2.如权利要求1所述的一种基于神经网络的小龙虾质量分级方法，其特征在于：步骤2中利用YOLOv5网络将输入的小龙虾图像自动划分为S
×
S格，待测小龙虾的中心坐标落在某个网格中，则网格负责检测小龙虾目标；检测过程中，每个S
×
S网格单元预测N个检测框，N可根据具体数据集在参数中调整，每个检测框包含5个预测值：x、y、w、h以及置信度，其中x、y为检测框中心点坐标，w、h为检测框宽度和高度。3.如权利要求1所述的一种基于神经网络的小龙虾质量分级方法，其特征在于：步骤2中采用YOLOv5网络定位小龙虾目标框区域的具体实现方式如下；通过基于K
‑
mean和鲸鱼算法的自适应anchor计算方法改进YOLOv5网络中的anchor定位，具体如下；将目标anchor划分为K类聚类中心，选取适应度函数为：式中，box
i
与center
j
分别表示第i个目标框与第j个聚类中心，D
ciou
是CIOU距离公式，对于目标框与聚类中心逼近的距离，采用CIOU的距离计算方式，即当目标框与聚类中心无限重合且宽高一致的情况下，适应度最好，定位最为准确；采用鲸鱼算法初始化种群并更新最优目标框，初始化N个目标框的位置信息，计算每一个目标框的适应度，并选取适应度最小的目标框假定为当前最优解，随后进行下一次迭代，直到达到适应度中止阈值完成筛选；目标框的逼近方式为逼近最优目标框位置，其计算公式为：式中，n为迭代次数，x
in
为当前迭代个体值，x
best
为当前最优目标框位置，A为多维均匀分布的随机数，C为均匀分布在(0
‑
2)的随机数；或者逼近随机目标框位置，其计算公式为：式中，x
rand
为随机位置的目标框；最终得到最优的小龙虾目标框的中心点坐标以及宽、高的归一化值(x，y，w，h)，以此计
算目标框的左上角以及右下角坐标，计算公式为：式中，(x1,y1)和(x2,y2)分别为目标框的左上角和右下角的坐标。4.如权利要求1所述的一种基于神经网络的小龙虾质量分级方法，其特征在于：步骤2中YOLOv5的损失函数由三个部分组成，公式为：式中，L
ciou
是边界框损失，用于计算小龙虾预测框与真实框之间的偏差；L
conf
为置信度损失，用于确定先验框内是否存在小龙虾目标；L
class
为分类损失，用于计算小龙虾分类的偏差；若先验框内不存在小龙虾目标，仅计算置信度损失，若存在小龙虾目标，则三类损失都要计算；S2特征图尺度，B为先验框，λ
noobj
为权重系数，若第i网格的第j先验框处有目标，分别取1与0，若没有目标，分别取0与1；ρ(
·
)为欧氏距离，c为预测框与真实框闭包区域的对角线距离；b、w、h为预测框的中心坐标、宽和高；b
gt
、w
gt
、h
gt
为真实框的中心坐标、宽和高；为预测框与人工标注框的置信度；P
ij
、为预测框与人工标注框的类别概率。5.如权利要求1所述的一种基于神经网络的小龙虾质量分级方法，其特征在于：步骤2中对小龙虾目标框区域进行裁剪并进一步判断小龙姿态及虾尾部形状，根据小龙虾虾尾的形状判断其质量是否合格，具体实现方式如下；设置小龙虾目标框左上角的横坐标恒大于0，从而完成小龙虾目标的裁剪；然后对...

【专利技术属性】
技术研发人员：王淑青，鲁濠，汤璐，鲁东林，黄剑锋，金浩博，张子言，朱文鑫，柯洋洋，张子蓬，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：