基于深度相机与机器学习的糖果缺陷检测装置及分类方法制造方法及图纸

本发明专利技术公开了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法，深度相机采集光源反射的糖果图像，并传输至工控机，工控机对糖果图像进行处理后，控制分选机构完成缺陷糖果的剔除工作；本发明专利技术的分类方法将机器视觉算法与深度学习算法相结合，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性；利用深度学习算法中的卷积神经网络Resnet18检测缺陷糖果，通过改进网络结构进行糖果分类，并输出糖果缺陷面积。本发明专利技术降低了人工分拣的误检率和漏检率与企业的生产成本，满足了企业的生产需求，提高了生产效率。

【技术实现步骤摘要】
基于深度相机与机器学习的糖果缺陷检测装置及分类方法
本专利技术涉及机器视觉领域，具体涉及机器视觉和深度学习技术在缺陷检测尤其是缺陷糖果检测分类中的应用，更具体而言，涉及一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。
技术介绍
糖果是以糖类为主要成份的一种小吃，糖果行业作为我国传统的两大支柱零食产业之一，保持着快速的增长。然而，糖果在生产过程中，由于上料不足或运输磕碰不可避免地造成糖果缺陷，缺陷糖果不仅种类多，且形状各异，体积偏小。目前，缺陷糖果的分类由人工完成，使用人工目测的方法来对缺陷糖果进行识别和分类，其缺点是人为因素影响大、识别速度慢、分类精度低，且已无法满足日益增长的消费需求。因此需要设计一种装置，并探寻一种算法来识别并分类含有缺陷的糖果。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。一种基于深度相机与机器学习的糖果缺陷检测装置，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述深度相机和光源设置在传动带上；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构动作，收集缺陷糖果；糖果分类采用机器视觉算法与深度学习算法相结合来实现，首先采用机器视觉算法对深度相机采集的原始图像进行特征提取，对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性，分割后的子图像划分为训练集和验证集，并输入至卷积神经网络，卷积神经网络计算并输出缺陷糖果类型和缺陷糖果缺损面积。作为优选，所述糖果进料斗上内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。作为优选，所述深度相机通过相机固定架设置在传动送带上方，采集均匀落在传送带上的糖果的图像。作为优选，所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。作为优选，所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。一种基于深度相机与机器学习的缺陷糖果分类方法，采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积。作为优选，所述缺陷糖果分类方法包含下述步骤：步骤S1：获取糖果图像；步骤S2：用机器视觉算法提取糖果特征；步骤S3：对图像进行分割；步骤S4：将分割后的子图像划分为训练集和验证集；步骤S5：构建卷积神经网络结构，利用训练集中的子图像对网络进行训练；步骤S6：基于预训练的网络，对验证集中的子图像进行分类；步骤S7：根据验证集上分类的准确率调整网络结构参数，直至得到最优的分类结果；步骤S8：对分类得到的缺陷糖果进行判断，并输出缺陷糖果的缺损面积。作为优选，机器视觉算法通过构造的色彩通道与使用threshold_li法获得的阈值，实现前景物体与背景物体的分割，通过滤除噪声得到干净的mask图。作为优选，利用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，通过设置参数t对图像中的糖果进行粘连判断，通过两个凹点生成分割线，完成粘连糖果的分割，其表达式如下式所示：式中，A(stickycandies)表示粘连糖果的面积，A(convexhullofstickycandies)表示粘连糖果凸包的面积，参数t在糖果粘连时具有较小的值，在无粘连时具有较大的值。作为优选，所述卷积神经网络为Resnet18，它对每层的输入都做一个reference(x)学习形成残差函数；Resnet18网络由17个卷积层和1个全连接层组成，每个卷积层都采用1个3×3的卷积核与1个ReLU激活函数，下采样采取步长为2，卷积核为2x2的最大池化操作；在下采样步骤中，增加1个全连接层，第1个全连接层分类输出四种不同糖果类型，第2个全连接层进行回归输出缺陷糖果的缺损面积。有益效果：与现有技术相比，本专利技术具有以下优点：1)创新设计一种基于深度相机与机器学习的糖果缺陷检测装置，克服了人工目测的不足，提高了企业生产的自动化水平。2)利用机器视觉算法替代卷积神经网络中的ProposalNetwork对糖果图像进行特征提取与背景分割，保证了算法的稳定性。3)利用K-means聚类引导曲率法对糖果图像中的粘连糖果进行分割，有利于卷积神经网络进行分类。4)利用改进后的卷积神经网络Resnet18对分割后的糖果子图像进行分类，使得原本的二分类网络结构可以得到糖果的四分类结果，进一步得到缺陷糖果的缺损面积，改进后的网络结构实时性与表达能力得到了有效增强。附图说明图1是基于深度相机与机器学习的糖果缺陷检测装置的结构示意图；图2是基于深度相机与机器学习的糖果缺陷识别分类算方法流程图；图3是基于深度相机与机器学习的粘连糖果分割操作流程示意图；图4是基于深度相机与机器学习的缺陷糖果识别分类方法的卷积神经网络结构图；图5是基于深度相机与机器学习的缺陷糖果识别分类方法中的四种糖果。具体实施方式下面结合具体实施例，进一步阐明本专利技术，实施例在以本专利技术技术方案为前提下进行实施，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。如图1所示，本申请的基于深度相机与机器学习的糖果缺陷检测装置，主要结构包括隔断冷却履带1、进料斗2、深度相机3、相机固定架4、条形光源5、工控机6、高速喷阀7、传送带8、收集箱9、支撑架11、伺服电机与编码器12等，高速喷阀7和收集箱9构成分选机构，糖果进料斗2和分选机构分别设置在传送带8的两端，深度相机3和条形光源5设置在传动带上，深度相机3与工控机6连接，深度相机3采集的糖果图像传输至工控机6，工控机6实现糖果图像的计算与分类，并根据分类结果控制分选机构动作，收集缺陷糖果。在进料斗2内部设隔断冷却履带1，在隔断冷却履带1上装有隔断板，能够将凝固成型的糖果等量分隔开，在进行冷却的同时，避免了糖果之间形成粘连，当糖果被输送到传送带8末端时，均匀地落在传送带8上，便于深度相机3采集图像。在传送带8上方设深度相机3与相机固定架4、条形光源5，条形光源5为深度相机3提供线性光源，深度相机3通过相机固定架4设置在传动送带上方，深度相机3采用的是intelRealSenseDepthCameraD435，可获得更高深度分辨率。相机固定架4中设置有可转动的光源固定架，条形光源5设置在可转动的光本文档来自技高网...

【技术保护点】
1.一种基于深度相机与机器学习的糖果缺陷检测装置，其特征在于，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述深度相机和光源设置在传送带的上方；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构，收集缺陷糖果；/n缺陷糖果的分类方法采用机器视觉算法与深度学习中的卷积神经网络相结合来实现，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行分割；利用深度学习算法中的卷积神经网络检测缺陷糖果，通过改进的卷积神经网络结构进行糖果分类，并输出糖果缺陷面积。/n

【技术特征摘要】
1.一种基于深度相机与机器学习的糖果缺陷检测装置，其特征在于，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述深度相机和光源设置在传送带的上方；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构，收集缺陷糖果；
缺陷糖果的分类方法采用机器视觉算法与深度学习中的卷积神经网络相结合来实现，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行分割；利用深度学习算法中的卷积神经网络检测缺陷糖果，通过改进的卷积神经网络结构进行糖果分类，并输出糖果缺陷面积。


2.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述糖果进料斗内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。


3.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述深度相机通过相机固定架设置在传送带上方，采集均匀落在传送带上的糖果图像。


4.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。


5.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。


6.一种基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：采用机器视觉算法与深度学习算法相结合来实现缺陷糖果的分类；采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺...

【专利技术属性】
技术研发人员：倪超，王锦亚，李振业，程磊，居荣华，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：江苏;32