农产品的缺陷检测和缺陷等级划分方法技术

本申请涉及农产品的缺陷检测和缺陷等级划分领域，提供了一种农产品的缺陷检测和缺陷等级划分方法、装置、计算机设备和存储介质。所述方法包括获取通过摄像头对待测水果拍摄的多个视角的待测水果图像；将每个所述待测水果图像输入至已训练好的第一缺陷识别模型中进行识别，得到每个所述待测水果图像的水果区域图和缺陷区域图；此时的缺陷区域图有可能是疑似缺陷区域；为了更进一步的确认缺陷区域图是否有缺陷区域，进而对每个缺陷区域图进行二次缺陷识别，得到所述待测水果的缺陷等级。提高农产品的缺陷识别和缺陷等级划分的准确率。农产品的缺陷识别和缺陷等级划分的准确率。农产品的缺陷识别和缺陷等级划分的准确率。

【技术实现步骤摘要】
农产品的缺陷检测和缺陷等级划分方法


[0001]本申请涉及农产品缺陷检测
，特别是涉及一种农产品的缺陷检测和缺陷等级划分方法。

技术介绍

[0002]一般在水果入库出库分拣时，通过对水果的缺陷区域进行检测，以此识别出有缺陷区域的水果和非缺陷区域的水果，进一步针对有缺陷区域的水果进行缺陷等级划分，以此实现水果的缺陷检测和缺陷等级划分。其中，水果缺陷一般包括微生物侵染、机械性损伤、冻伤等。目前的水果缺陷检测和缺陷分级方法，大都是采用人工目测的检测方式，这种人工检测方法具有一定的主观因素，对于缺陷等级的划分可能出现较大差异，导致缺陷识别和缺陷等级划分的准确性较低；而且，该方法耗时耗力，效率低下。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高缺陷识别和缺陷等级划分准确率的农产品的缺陷检测和缺陷等级划分方法。
[0004]一种农产品的缺陷检测和缺陷等级划分方法，所述方法包括：获取通过摄像头对所测水果拍摄的多个视角的待测水果图像；将每个所述待测水果图像输入至已训练好的第一缺陷识别模型中进行识别，得到每个所述待测水果图像的水果区域图和缺陷区域图；对每个所述水果区域图进行特征提取，得到对应的水果特征向量；所述水果特征向量包括水果像素坐标和水果灰度值；对每个所述缺陷区域图进行特征提取，得到对应的缺陷特征向量；所述缺陷特征向量包括缺陷像素坐标和缺陷灰度值；根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特征向量和第二特征向量；根据每个所述缺陷区域图的所述缺陷特征向量和对应所述水果区域图的所述水果特征向量，更新对应所述缺陷区域图的所述缺陷灰度值，记为更新缺陷灰度值；基于所述缺陷区域图的所述缺陷像素坐标和所述更新缺陷灰度值，确定对应所述缺陷区域图的第三特征向量；将所述第一特征向量、所述第二特征向量和所述第三特征向量作为对应所述缺陷区域图的参考特征向量；基于所述参考特征向量以及预先设置的标准特征向量，确定对应所述缺陷区域图的旋转平移矩阵；将每个所述缺陷区域图的所述缺陷像素坐标按照对应的所述旋转平移矩阵进行坐标转换，得到转换后的校正缺陷区域图；将每个所述校正缺陷区域图输入至已训练好的第二缺陷识别模型中进行识别，得
到所述待测水果的缺陷等级。
[0005]在一个实施例中，所述水果特征向量的表示方法为：其中，为第i个待测水果图像的水果区域图中第j个水果特征向量；为像素坐标系下第i个待测水果图像的水果区域图中第j个水果像素坐标的x轴坐标；为像素坐标系下第i个待测水果图像的水果区域图中第j个水果像素坐标的y轴坐标；为第i个待测水果图像的水果区域图中第j个水果灰度值；其中水果像素坐标可记为，；所述缺陷特征向量的表示方法为：其中，为第i个待测水果图像的缺陷区域图中第j个缺陷特征向量；为像素坐标系下第i个待测水果图像的缺陷区域图中第j个缺陷像素坐标的x轴坐标；为像素坐标系下第i个待测水果图像的缺陷区域图中第j个缺陷像素坐标的y轴坐标；为第i个待测水果图像的缺陷区域图中第j个缺陷灰度值；其中缺陷像素坐标可记为，。
[0006]在一个实施例中，所述根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特征向量和第二特征向量，包括：以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标；根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵；基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量。
[0007]在一个实施例中，所述以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标包括：计算每个所述缺陷区域图的中心像素坐标；其中，中心像素坐标为：，N为第i个待测水果图像的缺陷区域图中缺陷特征向量的个数；根据所述中心像素坐标更新对应所述缺陷区域图的每个所述缺陷像素坐标，得到所述缺陷区域图的更新缺陷像素坐标；其中，更新缺陷像素坐标为：；所述根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵包括：根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，通过协方差矩阵公式计算得到所述缺陷区域图的协方差矩阵，所述协方差矩阵公式的表示方法为：
其中，为第i个待测水果图像的缺陷区域图的协方差矩阵，为第i个待测水果图像的缺陷区域图的第j个更新缺陷像素坐标，为第i个待测水果图像的缺陷区域图的第j个更新缺陷像素坐标的转置，为第i个待测水果图像的缺陷区域图的第j个缺陷像素坐标。
[0008]在一个实施例中，所述基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量包括：基于所述缺陷区域图对应的协方差矩阵，通过奇异值公式计算位于所述缺陷坐标系下的初始第一特征向量和初始第二特征向量，所述奇异值公式的表示方法为：其中，为所述缺陷坐标系下的初始第一特征向量，为所述缺陷坐标系下的初始第二特征向量，为所述初始第一特征向量的特征值，为所述初始第二特征向量的特征值；将所述初始第一特征向量与所述中心像素坐标相加，得到对应所述缺陷区域图在所述像素坐标系下的第一特征向量；将所述初始第二特征向量与所述中心像素坐标相加，得到对应所述缺陷区域图在所述像素坐标下的第二特征向量。
[0009]在一个实施例中，所述根据每个所述缺陷区域图的所述缺陷特征向量和对应所述水果区域图的所述水果特征向量，更新对应所述缺陷区域图的所述缺陷灰度值，记为更新缺陷灰度值包括：根据每个所述待测水果图像的所述水果特征向量的个数与对应所述缺陷特征向量的个数，确定所述待测水果图像中非缺陷区域的水果区域图的正常水果特征向量的个数；基于每个所述待测水果图像的所述水果灰度值和对应所述缺陷灰度值，确定所述待测水果图像中非缺陷区域的水果区域图的平均水果灰度值；根据每个所述缺陷区域图的所述缺陷灰度值和对应所述待测水果图像的所述平均水果灰度值，确定对应的缺陷灰度值，记为更新缺陷灰度值。
[0010]在一个实施例中，所述基于所述缺陷区域图的所述缺陷像素坐标和所述更新缺陷灰度值，确定对应所述缺陷区域图的第三特征向量包括：将所述缺陷区域图的每个所述缺陷像素坐标和对应的所述更新缺陷灰度值相乘，得到对应的子质心像素坐标；将所述缺陷区域图对应的所有所述子质心像素坐标的平均值作为所述缺陷区域图的第三特征向量；所述第三特征向量的表示方法为：的表示方法为：
其中，为第i个待测水果图像的缺陷区域图的所述第三特征向量，H为第i个待测水果图像的所述正常水果特征向量的个数，为第i个待测水果图像的水果区域图的水果灰度值，为第i个待测水果图像的缺陷区域图的缺陷灰度值，为第i个待测水果图像的所述平均水果灰度值，为第i个待测水果图像的缺陷区域图的第j个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种农产品的缺陷检测和缺陷等级划分方法，其特征在于，所述方法包括：获取通过摄像头对待测水果拍摄的多个视角的待测水果图像；将每个所述待测水果图像输入至已训练好的第一缺陷识别模型中进行识别，得到每个所述待测水果图像的水果区域图和缺陷区域图；对每个所述水果区域图进行特征提取，得到对应的水果特征向量；所述水果特征向量包括水果像素坐标和水果灰度值；对每个所述缺陷区域图进行特征提取，得到对应的缺陷特征向量；所述缺陷特征向量包括缺陷像素坐标和缺陷灰度值；根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特征向量和第二特征向量；根据每个所述缺陷区域图的所述缺陷特征向量和对应所述水果区域图的所述水果特征向量，更新对应所述缺陷区域图的所述缺陷灰度值，记为更新缺陷灰度值；基于所述缺陷区域图的所述缺陷像素坐标和所述更新缺陷灰度值，确定对应所述缺陷区域图的第三特征向量；将所述第一特征向量、所述第二特征向量和所述第三特征向量作为对应所述缺陷区域图的参考特征向量；基于所述参考特征向量以及预先设置的标准特征向量，确定对应所述缺陷区域图的旋转平移矩阵；将每个所述缺陷区域图的所述缺陷像素坐标按照对应的所述旋转平移矩阵进行坐标转换，得到转换后的校正缺陷区域图；将每个所述校正缺陷区域图输入至已训练好的第二缺陷识别模型中进行识别，得到所述待测水果的缺陷等级。2.根据权利要求1所述的方法，其特征在于，所述水果特征向量的表示方法为：其中，为第i个待测水果图像的水果区域图中第j个水果特征向量；为像素坐标系下第i个待测水果图像的水果区域图中第j个水果像素坐标的x轴坐标；为像素坐标系下第i个待测水果图像的水果区域图中第j个水果像素坐标的y轴坐标；为第i个待测水果图像的水果区域图中第j个水果灰度值；其中水果像素坐标可记为，；所述缺陷特征向量的表示方法为：其中，为第i个待测水果图像的缺陷区域图中第j个缺陷特征向量；为像素坐标系下第i个待测水果图像的缺陷区域图中第j个缺陷像素坐标的x轴坐标；为像素坐标系下第i个待测水果图像的缺陷区域图中第j个缺陷像素坐标的y轴坐标；为第i个待测水果图像的缺陷区域图中第j个缺陷灰度值；其中缺陷像素坐标可记为，。3.根据权利要求2所述的方法，其特征在于，所述根据每个所述缺陷区域图的所述缺陷特征向量计算对应的协方差矩阵，基于所述协方差矩阵确定对应所述缺陷区域图的第一特
征向量和第二特征向量，包括：以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标；根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵；基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量。4.根据权利要求3所述的方法，其特征在于，所述以每个所述缺陷区域图的中心为原点建立缺陷坐标系，得到所述缺陷区域图在对应所述缺陷坐标系下的缺陷像素坐标，记为更新缺陷像素坐标包括：计算每个所述缺陷区域图的中心像素坐标；其中，中心像素坐标为：，N为第i个待测水果图像的缺陷区域图中缺陷特征向量的个数；根据所述中心像素坐标更新对应所述缺陷区域图的每个所述缺陷像素坐标，得到所述缺陷区域图的更新缺陷像素坐标；其中，更新缺陷像素坐标为：；所述根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，确定所述缺陷区域图对应的协方差矩阵包括：根据所述缺陷区域图的所述缺陷特征向量的个数、所述更新缺陷像素坐标和所述缺陷像素坐标，通过协方差矩阵公式计算得到所述缺陷区域图的协方差矩阵，所述协方差矩阵公式的表示方法为：其中，为第i个待测水果图像的缺陷区域图的协方差矩阵，为第i个待测水果图像的缺陷区域图的第j个更新缺陷像素坐标，为第i个待测水果图像的缺陷区域图的第j个更新缺陷像素坐标的转置， 为第i个待测水果图像的缺陷区域图的第j个缺陷像素坐标。5.根据权利要求4所述的方法，其特征在于，所述基于所述缺陷区域图对应的协方差矩阵，确定对应的第一特征向量和第二特征向量包括：基于所述缺陷区域图对应的协方差矩阵，通过奇异值公式计算位于所述缺陷坐标系下的初始第一特征向量和初始第二特征向量，所述奇异值公式的表示方法为：其中，为所述缺陷坐标系下的初始第一特征向量，为所述缺陷坐标系下的初始第二特征向量，为所述初始第一特征向量的...

【专利技术属性】
技术研发人员：孙炜，熊浩敏，周婷，
申请(专利权)人：深圳市中农易讯信息技术有限公司，
类型：发明
国别省市：