一种基于深度学习的果实品质无损评级方法、系统及终端技术方案

本发明专利技术属于图像识别技术领域，尤其涉及一种基于深度学习的果实品质无损评级方法、系统及终端，首先采集果实外观图像集、对应的单果重数据集、感官指标数据集；将果实的单果重数据和感官指标数据进行整合，得到果实的品质等级以及对应的信息包，以信息包对应的品质等级作为标签对果实外观图像进行标记；对果实图像进行预处理，得到果实特征图像；基于神经网络构建果实品质无损评级模型，以带有标签的果实特征图像对模型进行训练，训练完成后输入待检测水果的特征图，得到分级结果。本发明专利技术有效避免了果实人工分级过程中因主观性造成的错误分级和机器分级过程中可能造成的果实损坏，且实现了高精度的果实品质分级。实现了高精度的果实品质分级。实现了高精度的果实品质分级。

【技术实现步骤摘要】
一种基于深度学习的果实品质无损评级方法、系统及终端


[0001]本专利技术属于图像识别
，尤其涉及一种基于深度学习的果实品质无损评级方法、系统及终端。

技术介绍

[0002]近年来，人们的生活水平正随着经济的飞速发展不断提高，而水果是除粮食和蔬菜之外人体营养物质的主要来源之一，大家对于水果质量的要求也越来越高。
[0003]目前已知国内果实分级的常规方法有手工分级和机器分级方法，两种方法都存在一定的局限：一方面，手工分级结果易受主观因素影响，存在识别精度低、人工成本高等问题；另一方面，机器分级易造成果实的损坏。随着机器学习算法研究的不断深入，近年来已经有采用传统的计算机视觉方法进行水果的品质评级分级，但果实分级的参数都是分级前人为确定的，人为设计基于计算机图像的果实外观特征需要丰富的相关知识和经验，想要准确地描述出果实不同等级间差距的难度极大，导致效率太低，且识别的准确率受限。基于计算机视觉和图像处理技术实现果实的自动化分级，可以有效避免人工分级的主观性和机器分级造成的果实损坏，具有重要的实用价值和经济意义。
[0004]通过上述分析，现有技术存在的问题及缺陷为：现有的识别方法效率太低，且识别的准确率受限。

技术实现思路

[0005]为了实现更高效、准确的果实品质自动化评级，进而提高我国果实的产后处理水平和市场竞争力，本专利技术提供了一种基于深度学习的果实无损品质评级方法。
[0006]本专利技术是这样实现的，一种基于深度学习的果实无损品质评级方法，结合深度学习方法，通过对果实外观图像的分析，实现果实的无损品质评级。该方法能够全面捕捉果实的视觉信息，如形变、色泽、果型和明显缺陷，并与传统的感官指标相结合，进而自动、准确地评估果实的品质，特别适用于大规模、高效的果品质量检测场景。
[0007]进一步，基于深度学习的果实无损品质评级方法包括以下步骤：
[0008]S1，收集果实外观图像集、对应的单果重数据集和感官指标数据集；其中果实外观图像集包含完整果实的视觉信息，感官指标涵盖果实形变情况、色泽、果型和表面明显缺陷，尤其关注翠香果实的黑斑病；
[0009]S2，整合果实的单果重数据和感官指标数据，得到果实的品质等级以及相关信息包，以信息包中的品质等级作为标签，对果实外观图像进行标记，生成带有标签的果实外观图像；
[0010]S3，对带有标签的果实外观图像进行预处理，提取带有标签的特征图像；
[0011]S4，将带有标签的特征图像集划分为训练集、验证集和测试集三部分，三部分的图像数量比例为6：2：2；
[0012]S5，建立基于神经网络的果实品质无损评级模型；
[0013]S6，以训练集、验证集和测试集对果实品质无损评级模型进行训练、验证和测试，获得已训练完成的果实品质无损评级模型；
[0014]S7，采集待评级果实的外观图像，对外观图像进行预处理，得到带有标签的特征图像；将特征图像的像素点矩阵输入训练完成的果实品质无损评级模型，得到待评级果实的品质等级。
[0015]进一步，S2中，将果实的单果重数据和感官指标数据进行整合，具体包括：
[0016]从外观图像中获取相应信息，并通过等级划分准则确定目标果实对应的品质等级。
[0017]进一步，S3中，对带有标签的果实外观图像进行预处理，具体包括：
[0018]针对采集的果实外观图像，首先手动裁剪图片为正方形，其中正方形图像包含了完整的果实，再双线性插值算法将其尺寸调整为224
×
224像素大小。
[0019]进一步，S5中，基于神经网络构建果实品质无损评级模型，采用基于ResNet以及Vision Transformer(ViT)改进的深度神经网络模型进行搭建，模型先使用ResNet网络结构对图像进行低级特征提取，然后将其送入ViT网络结构中进行高级特征提取和输出分类结果，将ResNet第一个7
×
7的卷积层替换成两个3
×
3的卷积层，同时减少ViT中MLP Block和MLP Head结构的一个全连接层。
[0020]其中，ResNet残差神经网络属于卷积神经网络的分支之一，可以训练非常深的神经网络，所以对于数据有很强的学习能力，但是比较容易出现过拟合的问题。同时，它包含许多网络层和复杂的残差连接，这使得ResNet的工作原理非常复杂和抽象，难以解释模型如何进行分类或预测的工作原理，导致模型的后续优化难以进行。
[0021]此外，Vision Transformer是一种基于Transformer的视觉注意力模型，与传统的卷积神经网络相比，ViT的优点在于其不需要手动设计复杂的卷积结构，而是可以利用Transformer的自注意力机制来提取图像特征，能够学习到更丰富、更细节的图像特征，不过VIT模型对于数据的要求较高，在训练过程中需要大量的数据支持。值得注意的是，由于二者在特征提取和表征能力方面具有不同的优势，因此可以将它们结合起来提高图像识别的性能。综合利用它们各自的优势，提高猕猴桃图像分级的准确性和鲁棒性。
[0022]进一步，S6中，对模型进行训练时，首先输入训练集中果实外观图对模型进行训练，根据每一轮训练过程中的模型在验证集上损失值变化情况，看模型是否很好的学习到果实外观特征，最后的模型参数取验证集中表现最好的那一次，再在测试集上进行预测；如果验证集上损失值不符合要求，继续进行训练直至达到要求或者通过调整模型的初始参数和学习率重新进行训练；如果最后的模型在测试集上的结果不达标，则重新调整模型的初始参数或者学习率，并重新进行训练。
[0023]进一步，S7中所评级果实的品质等级包括A、B和C级三个品质等级。
[0024]本专利技术的另一目的在于提供一种应用所述的基于深度学习的果实品质无损评级系统，基于深度学习的果实品质无损评级系统包括：
[0025]数据集收集模块，用于收集果实外观图像集、对应的单果重数据集和感官指标数据集；
[0026]数据整合模块，用于整合果实的单果重数据和感官指标数据，得到果实的品质等级以及相关信息包，以信息包中的品质等级作为标签，对果实外观图像进行标记，生成带有
标签的果实外观图像；
[0027]特征图像提取模块，用于对带有标签的果实外观图像进行预处理，提取带有标签的特征图像；
[0028]图像集划分模块，用于将带有标签的特征图像集划分为训练集、验证集和测试集三部分，三部分的图像数量比例为6：2：2；
[0029]模型建立模块，用于建立基于神经网络的果实品质无损评级模型；
[0030]模型训练模块，用于以训练集、验证集和测试集对果实品质无损评级模型进行训练、验证和测试，获得已训练完成的果实品质无损评级模型；
[0031]评级模块，用于采集待评级果实的外观图像，对外观图像进行预处理，得到带有标签的特征图像；将特征图像的像素点矩阵输入训练完成的果实品质无损评级模型，得到待评级果实的品质等级。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的果实无损品质评级方法，其特征在于，结合深度学习方法，通过对果实外观图像的分析，实现果实的无损品质评级；该方法能够全面捕捉果实的视觉信息，并与感官指标相结合，进而评估果实的品质，用于大规模、高效的果品质量检测场景。2.如权利要求1所述的基于深度学习的果实无损品质评级方法，其特征在于，基于深度学习的果实无损品质评级方法包括以下步骤：S1，收集果实外观图像集、对应的单果重数据集和感官指标数据集；其中果实外观图像集包含完整果实的视觉信息，感官指标涵盖果实形变情况、色泽、果型和表面明显缺陷，尤其关注翠香果实的黑斑病；S2，整合果实的单果重数据和感官指标数据，得到果实的品质等级以及相关信息包，以信息包中的品质等级作为标签，对果实外观图像进行标记，生成带有标签的果实外观图像；S3，对带有标签的果实外观图像进行预处理，提取带有标签的特征图像；S4，将带有标签的特征图像集划分为训练集、验证集和测试集三部分，三部分的图像数量比例为6：2：2；S5，建立基于神经网络的果实品质无损评级模型；S6，以训练集、验证集和测试集对果实品质无损评级模型进行训练、验证和测试，获得已训练完成的果实品质无损评级模型；S7，采集待评级果实的外观图像，对外观图像进行预处理，得到带有标签的特征图像；将特征图像的像素点矩阵输入训练完成的果实品质无损评级模型，得到待评级果实的品质等级。3.如权利要求2所述的基于深度学习的果实无损品质评级方法，其特征在于，S2中，将果实的单果重数据和感官指标数据进行整合，具体包括：从外观图像中获取相应信息，并通过等级划分准则确定目标果实对应的品质等级；S3中，对带有标签的果实外观图像进行预处理，具体包括：针对采集的果实外观图像，首先手动裁剪图片为正方形，其中正方形图像包含了完整的果实，再双线性插值算法将其尺寸调整为224
×
224像素大小。4.如权利要求2所述的基于深度学习的果实无损品质评级方法，其特征在于，S5中，基于神经网络构建果实品质无损评级模型，采用基于ResNet以及Vision Transformer改进的深度神经网络模型进行搭建，模型先使用ResNet网络结构对图像进行低级特征提取，然后将其送入ViT网络结构中进行高级特征提取和输出分类结果，将ResNet第一个7
×
7的卷积层替换成两个3
×
3的卷积层，同时减少ViT中MLP Block和MLP ...

【专利技术属性】
技术研发人员：缪鸿刚，娄雨涵，童言，曾云流，梁佳媛，李欣，鲁西源，王子纯，徐安骏，王海明，王奕，黄思雨，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：