【技术实现步骤摘要】
本专利技术属于计算机视觉以及光电信号检测领域，涉及一种水果品质检测方法，具体涉及一种基于多模态特征融合的水果品质检测方法。
技术介绍
1、水果品质检测是指通过使用各种技术和方法来检测水果的品质，进行水果品质分级。目的是为了筛选出品质优良的水果并淘汰坏果，确保水果的质量和安全，可以用于决定水果的品质等级、保证产品安全、合格认证、品牌营销等方面；此外，水果检测对于水果种植、采摘、储存和运输等多个环节都具有重要的指导意义，可以有效提高生产和销售环节的效率和质量。
2、水果检测作为水果商品化加工过程中最重要的技术环节，人工检测的准确度受个人主观经验影响大，标准不一致，且对单个水果检测的时间过长，所以用机械化智能检测代替人工检测是发展的必然趋势，基于计算机视觉目标检测算法的智能检测方法被陆续引入到水果外表品质检测的应用中。
3、计算机视觉中目标检测的任务是识别出图像中所有目标，确定它们的类别和位置。目前主流的目标检测是基于深度神经网络的现代方法，特征提取和检测过程合一，特征具有适应性和鲁棒性，检测速度快，适合实时分析和大规模数据处理，而且准确率高、通用性较强。
4、例如申请公布号为cn114444622a，名称为“一种基于神经网络模型的水果检测系统和方法”专利申请中，提出了一种基于神经网络模型的水果检测方法，该方法首先将历史水果图片集划分为训练集和验证集；神经网络建立模块，神经网络模型包括特征提取模块和代替全连接层的改进的分类模块，改进的分类模块用于对特征提取模块提取的特征图片进行分类；模型训练和验证模
5、目标检测网络的检测头是用于预测水果评级的类别和水果位置的部分，但是现有技术的目标检测网络只有一个检测头，仅检测水果整体，不能综合判断被检测物体局部和整体的状况。因此其对于水果外表的检测方法，只考虑到了水果整体的信息，无法具体到水果表皮上的某些缺陷如斑点、腐烂处，从而会造成一些水果检测分级错误。其次，该方法只考虑了检测外部表皮是否完好，而忽视了对于水果内部是否完好的检测，对水果的评价指标局限，水果品质检测准确率不够高，不可以鲁棒、高效地综合判断水果的品质。
技术实现思路
1、本专利技术的目的是针对上述现有技术的不足，提出了一种基于多模态特征融合的水果品质检测方法，用于解决现有技术中存在的不能综合判断被检测水果局部和整体的状况、忽视对水果内部的检测的技术问题。
2、本专利技术通过构建包括双检测头的yolov5子网络，双检测头中的局部检测头用以检测水果局部的信息，实现对水果外表整体和局部的同时检测，提高检测分级的准确度；对于内部品质检测，通过红漫反射光谱采集技术，得到输入的水果内部代表光强度的电压值，进而检测出水果的内部是否腐烂变质；然后将双检测头yolov5子网络和与其并行排布的卷积神经子网络两个并行的检测子模型的检测结果进行综合，得到最终的水果品质检测分级结果。
3、为实现上述目的，本专利技术采取的技术方案包括如下步骤：
4、(1)获取训练样本集和测试样本集：
5、将从m个水果中随机选取的p个水果的图像序列和每个水果的电压值及其对应的标签组成训练样本集btrain，将剩余的水果的图像序列和每个水果的光电压值及其对应的标签组成测试样本集btest，其中，m＞1000，在实验中，使m＝1200，p＝750；
6、(2)构建水果品质检测网络模型：
7、构建包括并行排布的双检测头yolov5子网络和卷积神经子网络以及与该两个子网络的输出端连接的多模态特征融合子模块的水果品质检测网络模型o；其中双检测头yolov5子网络包括由并行排布的整体检测头和局部检测头组成的检测模块；
8、(3)初始化参数：
9、初始化迭代次数为t，最大迭代次数为t，t≥10，第t次迭代，双检测头yolov5子网络的权值参数为θt，卷积神经子网络的权值参数为ωt，并令t＝1；
10、(4)对水果品质检测网络模型进行训练：
11、将训练样本集btrain作为水果品质检测网络模型o的输入进行前向传播，得到p个训练样本对应的外表检测结果和内部检测结果；
12、(5)获取训练好的水果品质检测网络模型：
13、通过随机梯度下降法对双检测头yolov5子网络的权值参数θt和卷积神经子网络的权值参数ωt进行更新，并判断t＝t是否成立，若是，得到训练好的水果品质检测网络模型o*，否则，令t＝t+1，ot＝o，并执行步骤(4)；
14、(6)获取水果品质检测结果：
15、将测试样本集btest作为训练好的水果品质检测网络模型o*的输入进行前向传播，得到btest对应的水果品质检测结果。
16、本专利技术与现有技术相比，具有如下优点：
17、本专利技术在对水果品质检测网络模型进行训练以及获取水果品质检测结果的过程中，通过yolov5子网络中的双检测头对水果外表局部和整体品质进检测，并采用卷积神经子网络，通过水果的光电压值对水果内部品质进行检测，然后通过多模态特征融合子模块对两个并行子网络的检测结果进行融合，实现了将基于目标检测的水果外部目标检测技术与基于红漫反射光谱采集技术的内部检测技术的结合，避免了现有技术不能综合判断被检测水果局部和整体的状况、忽视对水果内部的检测的缺陷，且能够获得水果外表外的重要检测信息，从而提高水果品质检测准确率，可以鲁棒、高效地综合判断水果的品质。
本文档来自技高网...【技术保护点】
1.一种基于多模态特征融合的水果品质检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的获取训练样本集和测试样本集，实现步骤为：
3.根据权利要求2所述的方法，其特征在于，步骤(1a)中所述的对多个水果中每个水果拍摄的视频进行采样所得到的每个水果的图像序列进行预处理，是指将图像序列中的图像中模糊、清晰度低的图像筛去。
4.根据权利要求2所述的方法，其特征在于，步骤(1c)中所述的水果的品质类别，是指优良类、不良类和次品类三个类别。
5.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的水果品质检测网络模型，其中：
6.根据权利要求5所述的方法，其特征在于，步骤(4)中所述的对水果品质检测网络模型进行训练，实现步骤为：
7.根据权利要求6所述的方法，其特征在于，步骤(5)中所述的对双检测头YOLOv5子网络的权值参数θt和卷积神经子网络的权值参数ωt进行更新，实现步骤为：
【技术特征摘要】
1.一种基于多模态特征融合的水果品质检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的获取训练样本集和测试样本集，实现步骤为：
3.根据权利要求2所述的方法，其特征在于，步骤(1a)中所述的对多个水果中每个水果拍摄的视频进行采样所得到的每个水果的图像序列进行预处理，是指将图像序列中的图像中模糊、清晰度低的图像筛去。
4.根据权利要求2所述的方法，其特征在于，步骤(1...
【专利技术属性】
技术研发人员：曹震，刘橘，李生田，李嘉康，孙琦，张紫艺，侯彪，焦李成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。