基于机器视觉的核桃仁分级方法及核桃仁分级装置制造方法及图纸

本发明专利技术涉及基于机器视觉的分级追踪技术领域，是一种基于机器视觉的核桃仁分级方法及核桃仁分级装置；前者包括以下步骤，依次是获取历史样本数据，图像处理，图像分割，建立原始特征矩阵，特征的选择，模型的建立和分级追踪；本发明专利技术结构合理而紧凑，使用方便；通过机器视觉采集核桃仁图像后，在PC主机上对核桃仁进行追踪分级，待核桃仁到达分级位置后，通过气吹的方式将核桃仁吹入至分级卸料槽内，从而实现核桃仁分级；其中，采用特征bin19、K1和bin15，并利用分类效果最佳的朴素贝叶斯分类方法作为核桃仁分级模型；分级处理速度快，能够在输送平台上动态的核桃仁实现自动分级，代替人工分级，节省劳动力。

Walnut kernel grading method and device based on machine vision

The invention relates to the technical field of hierarchical tracking based on machine vision, which is a walnut kernel grading method based on machine vision and a walnut kernel grading device. The former includes the following steps: acquiring historical sample data, image processing, image segmentation, establishing original feature matrix, feature selection, modeling and so on. The invention has reasonable and compact structure and is easy to use. After collecting walnut kernel image by machine vision, walnut kernel is tracked and graded on PC host computer. After the walnut kernel reaches the grading position, the walnut kernel is blown into the grading unloading trough by air blowing, thereby realizing the grading of walnut kernel. Features bin19, K1 and bin15, and the naive Bayesian classification method with the best classification effect is used as the walnut kernel classification model. The classification processing speed is fast, and walnut kernels can be automatically graded on the transportation platform, instead of manual grading, to save labor.

【技术实现步骤摘要】
基于机器视觉的核桃仁分级方法及核桃仁分级装置
本专利技术涉及基于机器视觉的核桃仁分级装置及方法
，是一种基于机器视觉的核桃仁分级方法及核桃仁分级装置。
技术介绍
核桃又称胡桃、羌桃等，原产于中亚，现广泛栽培和分布于我国云南、山西、新疆等24个省区，面积与产量均居世界首位，到2015年底，新疆的核桃产量已达到56万吨左右。核桃仁营养丰富，含有大量的磷脂、蛋白质以及维生素，油脂含量高达60％以上，具有较高的经济价值和营养价值。核桃成熟采摘后到储藏，中间一般要经过脱青皮、漂洗、干燥等工序，每道工序都可能影响核桃的质量，并且由于其较高的油脂含量、在储藏期间可能发生霉烂、虫害和变质等现象。同时，由于目前核桃破壳技术尚不成熟，机械式的破壳取仁方式也容易造成核桃仁的碎裂。市面上一般鉴别核桃仁的品质主要以观察为主，仁衣色泽以黄白为上，暗黄为次，褐黄更次，而泛油、色黑褐的已严重变质，不能食用。国家林业局发布的《中华人民共和国林业行业标准》中对核桃仁的技术要求、检验方法和检测规则等做了相关规定，其中除了气味、水分和各种菌落含量等基本要求需要达标外，核桃仁的质量主要按照表1-1的标准来分级。核桃仁质量分级标准规定，对于色泽检测以及完整度大于四分仁的核桃仁检测需使用人工目测检视法来分级。人工处理存在检测、分选劳动强度大，效率低，成本高，同时还容易受人的主观因素影响，存在人为主观因素造成分级精度不稳定的情况，精确性差等诸多缺点；从对农产品检测分级的研究现状看到，国内外在机器视觉技术运用于农产品检测技术上已经有了较多的研究，但运用机器视觉检测技术对农产品的检测大多停留在检测静态农产品个体图像上，特别是国内，对于农产品动态分级的研究尚欠缺，相关自动分级系统较少，且目前针对核桃仁的颜色与完整度的自动分级系统尚未建立，对核桃仁的分级主要还是依靠人工分级的方式进行，劳动强度大，分级效率较低，所以针对核桃仁进行自动分级方面的研究是必要的。
技术实现思路
本专利技术提供了一种基于机器视觉的核桃仁分级方法及核桃仁分级装置，克服了上述现有技术之不足，其能有效解决人工目测检视法来分级核桃仁，劳动强度大的问题。本专利技术的技术方案一是通过以下措施来实现的：一种基于机器视觉的核桃仁分级方法，其步骤如下：第一步：获取历史样本数据：通过人工分级，获取两个或多个等级的核桃仁样本图像各30个，将30个核桃仁样本放置在输送平台上，通过输送平台上的机器视觉设备获得每个核桃仁图像；第二步：图像处理：对采集的核桃仁图像进行处理，获得核桃仁轮廓完整的图像；第三步：图像分割：采用最小外接矩形分割核桃仁图像，获得仅含有单个核桃仁的图像；第四步：对历史样本数据进行处理，建立原始特征矩阵：(Ⅰ)、获取与核桃仁图像颜色有关的37个特征作为核桃仁颜色分级的原始特征，具体包括基于色调直方图获取31个颜色特征，31个特征分别是bin0到bin30；和基于颜色矩获取6个特征，6个特征分别是Hμ、Hv、Hs、Sμ、Sv和Ss；(Ⅱ)、获取与核桃仁形状完整度有关的9个特征，具体包括核桃仁轮廓最小外接矩形长宽比K1、核桃仁轮廓面积与其最小外接圆轮廓面积比K2和7个Hu矩特征，7个Hu矩特征分别是I1、I2、I3、I4、I5、I6和I7；(Ⅲ)、根据上述特征建立原始特征矩阵，其中每一行为一个样本，每一列为一个特征，每一列自左至右分别是K1、K2、I1、I2、I3、I4、I5、I6、I7、Hμ、Hv、Hs、Sμ、Sv、Ss、bin0、bin1、bin2、bin3、bin4、bin5、bin6、bin7、bin8、bin9、bin10、bin11、bin12、bin13、bin14、bin15、bin16、bin17、bin18、bin19、bin20、bin21、bin22、bin23、bin24、bin25、bin26、bin27、bin28、bin29和bin30；(Ⅳ)、对原始特征矩阵的进行归一化处理，即通过归一化函数对将每一列的数值线性映射到[0,1]区间之间；第五步：特征的选择：一、基于ReliefF的特征筛选：将原始特征矩阵运用ReliefF算法进行特征选择运算，去除Hu矩特征I3、I4、I5、I6、I7；二、基于mRMR的信息差MID和互信息MIQ两种算法的特征选择：①使用mRMR的信息差MID算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin20、K2、bin13、bin16、bin12、bin18、bin14、bin17、Hv、bin11、bin21、bin15；②使用mRMR的互信息MIQ算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin16、bin13、I2、Sv、K2、bin17、bin12、bin18、bin14、bin5、bin25和bin20；第六步：模型的建立：在互信息差MID和互信息商MIQ两个准则所分别获取的15个特征中，分别取前3个特征，即bin19、K1和bin15，利用这三个特征对朴素贝叶斯分类模型进行训练，获取核桃仁分级模型；第七步：分级追踪：根据模型对待测核桃仁进行分级追踪，根据输出概率的大小确定核桃仁级别。下面是对上述专利技术技术方案一的进一步优化或/和改进：上述第七步根据模型对待测核桃仁进行分级追踪，根据输出概率的大小确定核桃仁级别的具体步骤如下：(一)对目标的检测：1、获取待分级核桃仁图像并对图像采用与第二步图像处理相同的方法进行处理，获得轮廓完整的核桃仁目标图像；2、判定是否有新的核桃仁轮廓进入视场，具体判断过程如下：a、基于核桃仁进入视场的方向，输送平台的由左至右的输送方向，采用外接矩形框分别选取图像中每个核桃仁轮廓，将最左侧核桃仁外接矩形框最左极值点横坐标与上一帧图像中最左侧核桃仁外接矩形框的最左极值点横坐标相比较，若小于，则进入步骤b；若大于，则不是新的核桃仁轮廓，则进入步骤c；b、采用外接矩形框分别选取图像中每个核桃仁轮廓，获取最左侧核桃仁外接矩形框最左极值点横坐标，判断该最左极值点横坐标是否小于m像素，m像素为距离图像左边缘的图像范围值；若小于，判定有新的核桃仁轮廓进入视场，将此轮廓外接矩形作为初始搜索框并计算搜索框中核桃仁轮廓内原始图像像素的色调直方图，将二者存储起来，添加一个待追踪目标，进入步骤(二)；若大于，则不是新的核桃仁轮廓，进入步骤c；c、判断图像中核桃仁目标的删除标记是否为真，若为真，则认为该核桃仁是已经完成分级，删除该追踪目标；若不为真，利用目标跟踪方法计算追踪目标的窗口位置；根据所追踪目标的追踪窗口中心的位置判断核桃仁目标是否到达的分级位置，若到达，则向控制器发送分级信号至用于控制核桃仁推送机构的控制器，使控制器动作，实现核桃仁的分级操作，同时置此待追踪目标删除标志为真，并删除此追踪目标；若未到达，则继续追踪目标，则重复判断追踪窗口中心是否到达分级位置；(二)对待追踪目标的分级与追踪，判断待追踪目标的等级及追踪位置，实现目标分级操作。上述第(二)步对待追踪目标的分级与追踪，判断待追踪目标的等级及追踪位置，实现目标分级操作的具体步骤本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的核桃仁分级方法，其特征在于按照如下步骤进行：第一步：获取历史样本数据：通过人工分级，获取两个或多个等级的核桃仁样本各30个，将30个核桃仁样本放置在输送平台上，通过输送平台上的机器视觉设备获得每个核桃仁图像；第二步：图像处理：对采集的核桃仁图像进行处理，获得核桃仁轮廓完整的图像；第三步：图像分割：采用最小外接矩形分割核桃仁图像，获得仅含有单个核桃仁的图像；第四步：对历史样本数据进行处理，建立原始特征矩阵：(Ⅰ)、获取与核桃仁图像颜色有关的37个特征作为核桃仁颜色分级的原始特征，具体包括基于色调直方图获取31个颜色特征，31个特征分别是bin0到bin30；和基于颜色矩获取6个特征，6个特征分别是Hμ、Hv、Hs、Sμ、Sv和Ss；(Ⅱ)、获取与核桃仁形状完整度有关的9个特征，具体包括核桃仁轮廓最小外接矩形长宽比K1、核桃仁轮廓面积与其最小外接圆轮廓面积比K2和7个Hu矩特征，7个Hu矩特征分别是I1、I2、I3、I4、I5、I6和I7；(Ⅲ)、根据上述特征建立原始特征矩阵，其中每一行为一个样本，每一列为一个特征，每一列自左至右分别是K1、K2、I1、I2、I3、I4、I5、I6、I7、Hμ、Hv、Hs、Sμ、Sv、Ss、bin0、bin1、bin2、bin3、bin4、bin5、bin6、bin7、bin8、bin9、bin10、bin11、bin12、bin13、bin14、bin15、bin16、bin17、bin18、bin19、bin20、bin21、bin22、bin23、bin24、bin25、bin26、bin27、bin28、bin29和bin30；(Ⅳ)、对原始特征矩阵的进行归一化处理，即通过归一化函数对将每一列的数值线性映射到[0,1]区间之间；第五步：特征的选择：一、基于ReliefF的特征筛选：将原始特征矩阵运用ReliefF算法进行特征选择运算，去除Hu矩特征I3、I4、I5、I6、I7；二、基于mRMR的信息差MID和互信息MIQ两种算法的特征选择：①使用mRMR的信息差MID算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin20、K2、bin13、bin16、bin12、bin18、bin14、bin17、Hv、bin11、bin21、bin15；②使用mRMR的互信息MIQ算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin16、bin13、I2、Sv、K2、bin17、bin12、bin18、bin14、bin5、bin25和bin20；第六步：模型的建立：在互信息差MID和互信息商MIQ两个准则所分别获取的15个特征中，分别取前3个特征，即bin19、K1和bin15，利用这三个特征对朴素贝叶斯分类模型进行训练，获取核桃仁分级模型；第七步：分级追踪：根据模型对待测核桃仁进行分级追踪，根据输出概率的大小确定核桃仁级别。...

【技术特征摘要】
1.一种基于机器视觉的核桃仁分级方法，其特征在于按照如下步骤进行：第一步：获取历史样本数据：通过人工分级，获取两个或多个等级的核桃仁样本各30个，将30个核桃仁样本放置在输送平台上，通过输送平台上的机器视觉设备获得每个核桃仁图像；第二步：图像处理：对采集的核桃仁图像进行处理，获得核桃仁轮廓完整的图像；第三步：图像分割：采用最小外接矩形分割核桃仁图像，获得仅含有单个核桃仁的图像；第四步：对历史样本数据进行处理，建立原始特征矩阵：(Ⅰ)、获取与核桃仁图像颜色有关的37个特征作为核桃仁颜色分级的原始特征，具体包括基于色调直方图获取31个颜色特征，31个特征分别是bin0到bin30；和基于颜色矩获取6个特征，6个特征分别是Hμ、Hv、Hs、Sμ、Sv和Ss；(Ⅱ)、获取与核桃仁形状完整度有关的9个特征，具体包括核桃仁轮廓最小外接矩形长宽比K1、核桃仁轮廓面积与其最小外接圆轮廓面积比K2和7个Hu矩特征，7个Hu矩特征分别是I1、I2、I3、I4、I5、I6和I7；(Ⅲ)、根据上述特征建立原始特征矩阵，其中每一行为一个样本，每一列为一个特征，每一列自左至右分别是K1、K2、I1、I2、I3、I4、I5、I6、I7、Hμ、Hv、Hs、Sμ、Sv、Ss、bin0、bin1、bin2、bin3、bin4、bin5、bin6、bin7、bin8、bin9、bin10、bin11、bin12、bin13、bin14、bin15、bin16、bin17、bin18、bin19、bin20、bin21、bin22、bin23、bin24、bin25、bin26、bin27、bin28、bin29和bin30；(Ⅳ)、对原始特征矩阵的进行归一化处理，即通过归一化函数对将每一列的数值线性映射到[0,1]区间之间；第五步：特征的选择：一、基于ReliefF的特征筛选：将原始特征矩阵运用ReliefF算法进行特征选择运算，去除Hu矩特征I3、I4、I5、I6、I7；二、基于mRMR的信息差MID和互信息MIQ两种算法的特征选择：①使用mRMR的信息差MID算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin20、K2、bin13、bin16、bin12、bin18、bin14、bin17、Hv、bin11、bin21、bin15；②使用mRMR的互信息MIQ算法对基于ReliefF算法的特征筛选之后的特征矩阵进行特征选择，取算法选择的前15个特征，15个特征依次为bin19、K1、bin15、bin16、bin13、I2、Sv、K2、bin17、bin12、bin18、bin14、bin5、bin25和bin20；第六步：模型的建立：在互信息差MID和互信息商MIQ两个准则所分别获取的15个特征中，分别取前3个特征，即bin19、K1和bin15，利用这三个特征对朴素贝叶斯分类模型进行训练，获取核桃仁分级模型；第七步：分级追踪：根据模型对待测核桃仁进行分级追踪，根据输出概率的大小确定核桃仁级别。2.根据权利要求1所述的基于机器视觉的核桃仁分级方法，其特征在于第七步根据模型对待测核桃仁进行分级追踪，根据输出概率的大小确定核桃仁级别的具体步骤如下：(一)对目标的检测：1、获取待分级核桃仁图像并对图像采用与第二步图像处理相同的方法进行处理，获得轮廓完整的核桃仁目标图像；2、判定是否有新的核桃仁轮廓进入视场，具体判断过程如下：a、基于核桃仁进入视场的方向，输送平台的由左至右的输送方向，采用外接矩形框分别选取图像中每个核桃仁轮廓，将最左侧核桃仁外接矩形框最左极值点横坐标与上一帧图像中最左侧核桃仁外接矩形框的最左极值点横坐标相比较，若小于，则进入步骤b；若大于，则不是新的核桃仁轮廓，则进入步骤c；b、采用外接矩形框分别选取图像中每个核桃仁轮廓，获取最左侧核桃仁外接矩形框最左极值点横坐标，判断该最左极值点横坐标是否小于m像素，m像素为距离图像左边缘的图像范围值；若小于，判定有新的核桃仁轮廓进入视场，将此轮廓外接矩形作为初始搜索框并计算搜索框中核桃仁轮廓内原始图像像素的色调直方图，将二者存储起来，添加一个待追踪目标，进入步骤(二)；若大于，则不是新的核桃仁轮廓，进入步骤c；c、判断图像中核桃仁目标的删除标记是否为真，若为真，则认为该核桃仁是已经完成分级，删除该追踪目标；若不为真，利用目标跟踪方法计算追踪目标的窗口位置；根据所追踪目标的追踪窗口中心的位置判断核桃仁目标是否到达的分级位置，若到达，则向控制器发送分级信号至用于控制核桃仁推送机构的控制器，使控制器动作，实现核桃仁的分级操作，同时置此待追踪目标删除标志为真，并删除此追踪目标；若未到达，则继续追踪目标，则重复判断追踪窗口中心是否到达分级位置；(二)对待追踪目标的分级与追踪，判断待追踪目标的等级及追踪位置，实现目...

【专利技术属性】
技术研发人员：周军，郭俊先，张静，姜彦武，蔡建，
申请(专利权)人：新疆农业大学，
类型：发明
国别省市：新疆,65