一种水果伤损检测的方法及装置制造方法及图纸

本申请实施例提供一种水果伤损检测的方法及装置，所述方法包括：获取水果多个面的图像；根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，其中，所述目标损伤识别神经网络包括主干网络、图像特征融合层以及预测层，所述主干网络是对yolov5模型的主干网络进行如下处理后得到的：双维度剪枝、网络权重进行聚类以及模型蒸馏。通过本申请的实施例可以针对水果表面的伤损进行高精度的检测，并且可以实时检测传送带上水果出现的各类损伤。伤。伤。

【技术实现步骤摘要】
一种水果伤损检测的方法及装置


[0001]本申请涉及水果损伤识别领域，具体而言本申请实施例涉及一种水果伤损检测的方法及装置。

技术介绍

[0002]在果农果实丰收的季节，大量成熟的水果(例如，苹果)给果农带来丰厚的经济收益，但其中果子在成熟之前可能经历自然灾害、人工等损伤，果子的品质得不到保证，果农们就会对果子进行人工分选，人工分选不仅浪费人力成本，还会浪费时间成本。除人工分选外，市面上也有对果子进行自动分选的机器，主要是对水果的伤损进行检测。但该机器缺乏对水果伤损的特定性，不能对水果伤损进行细分类，因为水果在成熟之前经历的损伤的类型和每种类型的状态都千奇百怪，无法保证分选算法的鲁棒性。
[0003]目前，水果的伤损检测算法主要分为传统图像和深度神经网络两大流派，传统算法的泛化能力较差，对未知的伤损缺乏较强的判别力，会差生大量伤损的漏检或者误检。而现有的深度神经网络算法不能达到水果伤损细分类的准确度，且不能保证实时性要求。

技术实现思路

[0004]本申请实施例的目的在于提供一种水果伤损检测的方法及装置，通过本申请的实施例可以针对水果表面的伤损进行高精度的检测，并且可以实时检测传送带上水果出现的各类损伤。
[0005]第一方面，本申请实施例提供一种基于改进的yolov5的水果伤损检测的方法，所述方法包括：获取水果多个面的图像；根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，其中，所述目标损伤识别神经网络包括主干网络、图像特征融合层以及预测层，所述主干网络是对yolov5模型的主干网络进行如下处理后得到的：双维度剪枝、网络权重进行聚类以及模型蒸馏。
[0006]本申请的一些实施例通过改进yolov5模型的主干网络得到轻型的网络，可以实时检测传送带上水果出现的各类损伤，明显提升了数据处理的速度。
[0007]在一些实施例中，所述获取水果多个面的图像，包括：获取两个RGB摄像头采集水果的多张不同面的图像，其中，所述两个RGB摄像头设置在传送带两端，所述水果在所述传送带上滚动。
[0008]在一些实施例中，所述根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，包括：对所有的图像进行大小转换和归一化处理并转换成一个四维向量(N,C,H,W)，其中N代表图像的数量，C代表图像的通道，W代表图像的宽度，H代表图像的高度；将四维向量输入所述目标损伤识别神经网络得到所述损伤类型。
[0009]本申请的一些实施例通过两个RGB摄像头拍摄的多张图像，进而得到四通道向量，再将四通道向量输入训练得到的模型进行损伤识别，提升了损伤识别的精度。
[0010]在一些实施例中，所述将四维向量输入所述目标损伤识别神经网络得到所述损伤
类型，包括：通过所述主干网络提取所述图像中的特征信息；根据图像特征融合层根据所述特征信息获取不同大小的特征图；将不同大小的特征图送入所述预测层的三个分支，分别检测不同大小目标的伤损，其中，每个分支在特征图上产生多个候选区域；通过所述预测层对多个候选区域进行分类和检测框的回归预测，得到所述各类损伤。
[0011]本申请的一些实施例通过多个分值进行检测框实现水果上损伤位置了类型检测。
[0012]在一些实施例中，所述通过所述预测层对多个候选区域进行分类和检测框的回归预测，包括：根据所述多个候选区域的预测结果进行筛选，筛选出对应候选区域得分最高的伤损类别和位置，得到与所述各类损伤对应的检测框和损伤类别。
[0013]本申请的一些实施例通过筛选方式得到最终的损害类别和位置。
[0014]在一些实施例中，所述目标损伤识别神经网络还包括注意力机制模块，其中，所述注意力机制模块位于所述主干网络的前级和后级。
[0015]本申请的一些实施例还在主干网络前后设置注意力机制模块，提升损伤即损害损伤识别的精度。
[0016]在一些实施例中，所述注意力机制模块包括通道注意力子模块和空间注意力子模块，其中，所述通道注意力子模块位于空间注意力子模块的前一级。
[0017]第二方面，本申请的一些实施例提供一种水果伤损检测的装置，所述装置包括：图像获取模块，被配置为获取水果多个面的图像；损伤获取模块，被配置为根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，其中，所述目标损伤识别神经网络包括主干网络、图像特征融合层以及预测层，所述主干网络是对yolov5模型的主干网络进行如下处理后得到的：双维度剪枝、网络权重进行聚类以及模型蒸馏。
[0018]第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述第一方面和第二方面中任意实施例所述的方法。
[0019]第四方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面或者第二方面任意实施例所述的方法。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1为本申请实施例提供的水果伤损检测系统的架构图；
[0022]图2为本申请实施例提供的相关技术的yolov5模型的架构图；
[0023]图3为本申请实施例提供的基于改进的yolov5的水果伤损检测的方法的流程图之一；
[0024]图4为本申请实施例提供的基于改进的yolov5的水果伤损检测的方法的流程图之二；
[0025]图5为本申请实施例提供的水果伤损检测的装置的组成示意图；
[0026]图6为本申请实施例提供的电子设备的组成示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0029]至少为了解决
技术介绍
部分的问题，本申请的一些实施例根据实际场景与应用需求，提高yolov5算法的检测速度以达到实时性的要求，例如，本申请的一些实施例对yolov5提出了一种轻量化的主干网络(backbone)，采取双维度剪枝方法(例如，按照剔除权重所在的层面侧差异性，双维度剪枝方法包括通道层面剪枝channel
‑
wise和元素层面剪枝element
‑
wise)的对shufflenet进行剪枝，之后对网络权重进行聚类得到若干类网络权重参数，相同类的网络权重参数共享同一个值，达到降低参数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的yolov5的水果伤损检测的方法，其特征在于，所述方法包括：获取水果多个面的图像；根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，其中，所述目标损伤识别神经网络包括主干网络、图像特征融合层以及预测层，所述主干网络是对yolov5模型的主干网络进行如下处理后得到的：双维度剪枝、网络权重进行聚类以及模型蒸馏。2.如权利要求1所述的方法，其特征在于，所述获取水果多个面的图像，包括：获取两个RGB摄像头采集水果的多张不同面的图像，其中，所述两个RGB摄像头设置在传送带两端，所述水果在所述传送带上滚动。3.如权利要求2所述的方法，其特征在于，所述根据所述图像和目标损伤识别神经网络得到所述水果存在的各类损伤，包括：对所有的图像进行大小转换和归一化处理并转换成一个四维向量(N,C,H,W),其中N代表图像的数量，C代表图像的通道，W代表图像的宽度，H代表图像的高度；将四维向量输入所述目标损伤识别神经网络得到损伤类型。4.如权利要求1所述的方法，其特征在于，所述将四维向量输入所述目标损伤识别神经网络得到损伤类型，包括：通过所述主干网络提取所述图像中的特征信息；根据图像特征融合层根据所述特征信息获取不同大小的特征图；将不同大小的特征图送入所述预测层的三个分支，分别检测不同大小目标的伤损，其中，每个分支在特征图上产生多个候选区域；通过所述预测层对多个候选区域进行分类和检测框的回归预测，得到所述各类损伤。5.如权利要求4所述的...

【专利技术属性】
技术研发人员：赵迪，
申请(专利权)人：创新奇智青岛科技有限公司，
类型：发明
国别省市：