一种水果检测分级方法与装置制造方法及图纸

本发明专利技术涉及一种水果检测分级方法与装置，属于果蔬检测领域，方法包括采集每个水果的若干个图像，提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；根据得到的水果的体积大小对各水果进行分级。相对于现有技术通过水果的直径大小的分级方法，本发明专利技术按照水果的体积大小的分级方法能够实现对水果的有效分级，对于一些形状复杂、不规则的水果大小，都能够计算出水果的体积，从而提高水果分级的可靠性。

A method and device for fruit detection and classification

【技术实现步骤摘要】
一种水果检测分级方法与装置
本专利技术属于果蔬检测领域，具体涉及一种水果检测分级方法与装置。
技术介绍
传统的果蔬分级方法为，通过人工分拣的方式对果蔬进行分级，既费时又费力，并且存在不同人判断不一致和不准确的问题，从而水果的精确分拣便成为提高国内外市场的首要因素，因此需要有一个相对客观的评判标准能够自动地对水果进行分类。目前常用的做法是，使用电子称来对水果重量或者使用机械方法对水果大小进行分级，因此分级精度差，并且效率低下。现有的基于计算机视觉的水果大小分级方法，采用常规的数字图像处理算法，通过对采集到的水果图像进行预处理、水果区域分割、特征检测等处理，计算出果径，用果径作为水果大小的特征参数，经过系统标定确定水果的实际测量值，最终通过上述测量值实现水果大小的分级。该方法的不足之处在于方法检测的可靠性不高，对于一些形状复杂、不规则的水果大小分级结果有一定的偏差，一定程度上限制了其在农业生产领域的实际推广和应用。
技术实现思路
本专利技术的目的是提供一种水果检测分级方法与装置，用于解决现有技术的水果分级方法可靠性低，导致无法实现水果有效分级的问题。基于上述目的，一种水果检测分级方法的技术方案如下：采集每个水果的若干个图像，所述每个水果的若干个图像是从至少两个不同角度对水果进行采集得到的图像；提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；根据得到的水果的体积大小对各水果进行分级。基于上述目的，一种水果检测分级装置的技术方案如下：包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现上述水果检测分级方法。上述两个技术方案的有益效果是：本专利技术通过从不同角度对水果的图像进行采集，对这些图像进行特征点提取和匹配，利用匹配好的特征点进行三维重建，能够得到水果的三维图像，并进行切片处理，然后根据各层切片中的目标区的面积，能够计算出水果的体积，最终按照水果的体积大小对水果进行分级。相对于现有技术通过水果的直径大小的分级方法，本专利技术按照水果的体积大小的分级方法能够实现对水果的有效分级，对于一些形状复杂、不规则的水果大小，都能够计算出水果的体积，从而提高水果分级的可靠性。为了提高水果分级的可靠性，进一步，还结合水果的密度对各水果进行分级，所述水果的密度是根据水果的体积和重量计算得到的，通过水果的体积大小和密度大小，由于体积大小能够表征水果的水分，密度大小能够表征水果的硬度，相当于在水果分级同时考虑了水果的水分和硬度，实现了对水果的精细分级，提高了分级的可靠性。进一步，还结合水果的表面面积对各水果进行分级，所述水果的表面面积通过以下步骤得到：获取每个水果的三维图像中的目标区的轮廓点，在轮廓点的基础上进行轮廓平滑，建立三角面片，计算曲面面积，从而得到苹果的表面面积。在水果分级时，由于加入了水果的表面面积，当利用水果的体积和表面面积结合对水果分级时，能够对水果进行进一步细化的分级，可以优选出更优质的水果，例如选出水分含量多、表面面积相对小的水果。当利用水果的体积、密度和表面面积结合对水果分级时，则能够对水果进行最佳的分级，例如可以选出水分含量多、表面面积相对小且硬度较大的水果。为了提高三维重建的精度，进一步，对于每个水果的若干个图像，是以覆盖水果的全部表面为目标，从至少两个不同角度对水果进行采集得到的，能够建立精确的水果三维图像。进一步，对所有图像的特征点进行匹配包括：利用最小生成树的快速多视图点特征匹配方法对提取到的特征点进行稀疏匹配和稀疏重建，得到稀疏点云；将所述稀疏点云作为参考点，利用多视角密集匹配方法对得到进行特征点的稠密匹配和稠密重建，得到水果三维图像的数据模型。利用上面的两种方法得到的水果三维图像的数据模型更精确，有助于提高水果三维图像的精度。进一步，所述进行三维重建包括：利用逐点插入算法对水果三维图像的数据模型进行表面重建，得到所述水果的三维图像，以保证三维图像的成像质量。附图说明图1是本专利技术的特征点提取和匹配的方法流程图；图2是本专利技术的聚簇算法流程图；图3是本专利技术的三维测量算法流程图；图4是本专利技术的水果检测分级方法流程示意图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步的说明。实施例1：本专利技术提供了一种水果检测分级设备，包括图像采集装置，以及采集连接图像采集装置的处理器，可选的，图像采集装置为三个CCD相机，设置在分级流水线的不同位置，能够从不同角度采集到经过分级流水线上的物品；处理器为电脑终端，用于接收并处理三个CCD相机发送的图像。基于上述装置，以给苹果分级为例，介绍本专利技术的水果检测分级方法，具体包括以下步骤：步骤一，苹果在分级流水线上的传输过程中，苹果由果杯托举并旋转，且分级流水线上相邻两个苹果之间有一定间距，各苹果根据前后顺序有序进入CCD相机的图像采集范围区域，由三个CCD相机采集苹果表面的图像，不同角度的图像采集覆盖苹果的全部表面，因此一个苹果对应有多张图像，最后将采集得到苹果的图像传输到电脑终端存储。步骤二，电脑终端根据获取的苹果的图像，进行特征点提取、稀疏匹配及稀疏重建、稠密匹配及稠密重建、表面重建(即三维重建)、切片处理，计算近似台体体积，进而计算苹果的整体体积，对苹果进行分级。具体的，包括以下子步骤：步骤1)，特征点提取和匹配的方法流程如图1所示，目的是要对若干个图像进行特征点提取和匹配，基于该目的，首先获取电脑终端存储苹果的若干个图像，将第一张图像作为原图像，第二张图像作为目标图像，对这两个图像依次采用特征点定位与描述算法提取若干个特征点，得到目标(即待分级的苹果)的特征点集，然后利用基于最小生成树的快速多视图点特征匹配方法实现特征点的稀疏匹配及稀疏重建，得到稀疏点云。然后将第二张图像作为原图像，第三张图像作为目标图像进行特征点匹配，以此类推。具体的，本实施例采用的特征点定位与描述算法为SIFT特征点检测算法和SIFT特征点描述子算法，该算法能够对图像间的尺度变化、旋转变化及放射变化具有一定的鲁棒性，并且广泛应用于立体匹配中。SIFT特征点检测算法的检测过程是在高斯差分(DifferenceOfGaussian,DOG)尺度空间完成的，通过使用高斯金字塔中相邻上下两层图像之间相减得到高斯差分图像，随后进行Hessian矩阵检测与泰勒展开，从而定位特征点精确位置。本实施例中，SIFT特征点描述子算法是一种局部特征描述子，描述特征点及其周围邻域像素点信息。该算法根据图像的局部特征，采用图像梯度方法估计特征点局部区域的稳定方向作为特征点的主本文档来自技高网...

【技术保护点】
1.一种水果检测分级方法，其特征在于，包括以下步骤：/n采集每个水果的若干个图像，所述每个水果的若干个图像是从至少两个不同角度对水果进行采集得到的图像；/n提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；/n对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；/n根据得到的水果的体积对各水果进行分级。/n

【技术特征摘要】
1.一种水果检测分级方法，其特征在于，包括以下步骤：
采集每个水果的若干个图像，所述每个水果的若干个图像是从至少两个不同角度对水果进行采集得到的图像；
提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；
对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；
根据得到的水果的体积对各水果进行分级。


2.根据权利要求1所述的水果检测分级方法，其特征在于，还结合水果的密度对各水果进行分级，所述水果的密度是根据水果的体积和重量计算得到的。


3.根据权利要求1或2所述的水果检测分级方法，其特征在于，还结合水果的表面面积对各水果进行分级，所述水果的表面面积通过以下步骤得到：
获取每个水果的三维图像中的目标区的轮廓点，在轮廓点的基础上进行轮廓平滑，建立三角面片，计算曲面面积，从而得到苹果的表面面积。

<...

【专利技术属性】
技术研发人员：王辉，朱旭，付权锋，麻宝娟，温嘉伟，李安娜，马淏，金鑫，赵凯旋，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：河南;41