颗粒缺陷检测方法、系统、设备和介质技术方案

本发明专利技术涉及产品检测技术领域，特别涉及颗粒缺陷检测方法、系统、设备和介质。方法包括：确定多个颗粒中的可能存在缺陷的颗粒；采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征；通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。大大简化了模板配置过程，降低了工人的学习成本和时间成本，拥有更好的通用性，覆盖了鱼肝油、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊等市面上常见药品，在这些数据上均能够达到稳定的识别效果。

【技术实现步骤摘要】
颗粒缺陷检测方法、系统、设备和介质
本专利技术涉及产品检测
，特别涉及颗粒缺陷检测方法、系统、设备和介质。
技术介绍
在颗粒产品的生产中，特别是在药粒的生产中，药粒缺陷视觉检测系统的应用实现对药粒缺失，多粒、破损、脏污等问题的自动检测，从而帮助生产线剔除问题药粒，减少人工成本，提高检测精度。目前市面上已经存在一些药粒缺陷视觉检测系统，如德国Laetus公司生产的药品缺陷检测系统，应用于制药产线，实现药粒缺陷的自动检测。但是首先，目前市面上应用较多的药粒缺陷检测系统的模板配置过程复杂，步骤多达十几步，特别是很多系统仍然需要人工调整参数，对于工厂的工人来说，配置模板所需要的学习成本很高。另外，配置过程复杂导致每次进行模板配置时耗时很长，导致产线工人在模板配置上花费较多时间，影响生产进度。其次，市场上药物种类和样式繁多，基于传统的计算机图像处理技术进行开发的药粒缺陷检测系统，难以对多种类别的药物都做到适用，以鱼肝油等形态较为特殊的药物为例，针对鱼肝油的漏油、脏污等缺陷，就很难达到稳定的识别效果。针对上述问题，本领域已经出现了一些采用机器学习的药粒缺陷视觉检测方法或系统，但是在准确度、速度、通用性等方面的性能以及性能和耗时之间的平衡还不能完全满足市场需要。
技术实现思路
本专利技术的目的在于提供颗粒缺陷检测方法、系统、设备和介质，将深度学习与传统图像处理方法相结合，大大简化了模板配置过程，降低了工人的学习成本和时间成本，拥有更好的通用性，覆盖了鱼肝油、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊等市面上常见药品，在这些数据上均能够达到稳定的识别效果。本专利技术的实施方式公开了一种颗粒缺陷检测方法，包括：确定多个颗粒中的可能存在缺陷的颗粒；采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征；通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。可选地，确定多个颗粒中可能存在缺陷的颗粒包括：从多个模板中提取每个模板的图像；根据模板的图像，获取每个模板的特征；从多个颗粒中提取每个颗粒的图像；根据颗粒的图像，获取每个颗粒的特征；通过将颗粒的特征与对应的模板的特征进行对比，确定可能存在缺陷的颗粒。可选地，多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：采用语义分割模型对模板封装的图像进行分割，得到模板封装的模板分布概率图和模板掩码图像；根据模板掩码图像，获取模板封装中模板的位置；根据模板掩码图像和模板的位置，通过投影和聚类，对模板封装的图像进行行列划分，分割出来模板的图像；根据模板分布概率图，采用全连接条件概率场模型，对模板的图像的分割结果进行优化；采用语义分割模型对颗粒封装的图像进行分割，得到颗粒封装的颗粒分布概率图和颗粒掩码图像；根据颗粒掩码图像和相应的模板的位置，通过投影和聚类，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；根据颗粒分布概率图，采用全连接条件概率场模型，对颗粒的图像的分割结果进行优化。可选地，多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：通过转换颜色通道，得到模板封装的模板掩码图像；根据模板掩码图像，获取模板封装中模板的位置；根据模板掩码图像和模板的位置，对模板封装的图像进行行列划分，分割出来模板的图像；通过转换颜色通道，得到颗粒封装的颗粒掩码图像；根据颗粒掩码图像和相应的模板的位置，对颗粒封装的图像进行行列划分，分割出来颗粒的图像。可选地，根据模板的图像，获取每个模板的特征，以及根据颗粒的图像，获取每个颗粒的特征，包括：根据模板和/或颗粒的图像，通过聚类，获取模板和/或颗粒的颜色分布；根据模板和/或颗粒的图像，通过最小外接矩形、主成分分析，获取模板和/或颗粒的形状特征。可选地，颗粒包括药物。可选地，药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊。本专利技术的实施方式公开了一种颗粒缺陷检测系统，包括过滤模块、对比模块、确定模块：过滤模块确定多个颗粒中的可能存在缺陷的颗粒；对比模块采用卷积神经网络，将可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到可能存在缺陷的颗粒与对应的模板之间的差异特征；确定模块通过多分支的二分类方法，根据差异特征确定可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型本专利技术的实施方式公开了一种颗粒缺陷检测设备，设备包括存储有计算机可执行指令的存储器和处理器，当指令被处理器执行时，使得设备实施颗粒缺陷检测方法。本专利技术的实施方式公开了一种计算机存储介质，在计算机存储介质上存储有指令，当指令在计算机上运行时，使得计算机执行颗粒缺陷检测方法。本专利技术实施方式与现有技术相比，主要区别及其效果在于：在本专利技术中，首先确定多个颗粒中的可能存在缺陷的颗粒，作为对颗粒缺陷初步的大致识别，提高检测的速度，之后再采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征，通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型，作为对颗粒缺陷的精确识别，提高检测的准确度。即，本专利技术兼顾颗粒缺陷检测的速度和准确度。相比多分类方法，多分支的二分类方法能够更好的应对一个颗粒存在多种缺陷的情况，更加准确地完成分类任务。在本专利技术中，确定多个颗粒中可能存在缺陷的颗粒包括：从多个模板中提取每个模板的图像；根据模板的图像，获取每个模板的特征；从多个颗粒中提取每个颗粒的图像；根据颗粒的图像，获取每个颗粒的特征；通过将颗粒的特征与对应的模板的特征进行对比，确定可能存在缺陷的颗粒；自动完成模板的配置过程，降低了工人的学习成本和时间成本，自动完成颗粒特征的提取，以及颗粒和模板之间的初步对比，减少人工操作，大大提高了检测效率和准确率。在本专利技术中，采用语义分割模型对模板封装的图像进行分割，得到模板封装的模板分布概率图和模板掩码图像；根据模板掩码图像，获取模板封装中模板的位置；根据模板掩码图像和模板的位置，通过投影和聚类，对模板封装的图像进行行列划分，分割出来模板的图像；根据模板分布概率图，采用全连接条件概率场模型，对模板的图像的分割结果进行优化；采用语义分割模型对颗粒封装的图像进行分割，得到颗粒封装的颗粒分布概率图和颗粒掩码图像；根据颗粒掩码图像和相应的模板的位置，通过投影和聚类，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；根据颗粒分布概率图，采用全连接条件概率场模型，对颗粒的图像的分割结果进行优化；只需提供封装好的受测颗粒及其相应封装好的模板的图像本文档来自技高网...

【技术保护点】
1.一种颗粒缺陷检测方法，其特征在于，包括：/n确定多个颗粒中的可能存在缺陷的颗粒；/n采用卷积神经网络，将所述可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到所述可能存在缺陷的颗粒与对应的所述模板之间的差异特征；/n通过多分支的二分类方法，根据所述差异特征确定所述可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。/n

【技术特征摘要】
1.一种颗粒缺陷检测方法，其特征在于，包括：
确定多个颗粒中的可能存在缺陷的颗粒；
采用卷积神经网络，将所述可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到所述可能存在缺陷的颗粒与对应的所述模板之间的差异特征；
通过多分支的二分类方法，根据所述差异特征确定所述可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。


2.根据权利要求1所述的方法，其特征在于，所述确定多个颗粒中可能存在缺陷的颗粒包括：
从多个所述模板中提取每个所述模板的图像；
根据所述模板的图像，获取每个所述模板的特征；
从多个所述颗粒中提取每个所述颗粒的图像；
根据所述颗粒的图像，获取每个所述颗粒的特征；
通过将所述颗粒的特征与对应的所述模板的特征进行对比，确定所述可能存在缺陷的颗粒。


3.根据权利要求2所述的方法，其特征在于，多个所述模板封装在模板封装中，多个所述颗粒封装在颗粒封装中，所述从多个所述模板中提取每个所述模板的图像、以及从多个所述颗粒中提取每个所述颗粒的图像包括：
采用语义分割模型对所述模板封装的图像进行分割，得到所述模板封装的模板分布概率图和模板掩码图像；
根据所述模板掩码图像，获取所述模板封装中所述模板的位置；
根据所述模板掩码图像和所述模板的位置，通过投影和聚类，对所述模板封装的图像进行行列划分，分割出来所述模板的图像；
根据所述模板分布概率图，采用全连接条件概率场模型，对所述模板的图像的分割结果进行优化；
采用语义分割模型对所述颗粒封装的图像进行分割，得到所述颗粒封装的颗粒分布概率图和颗粒掩码图像；
根据所述颗粒掩码图像和相应的所述模板的位置，通过投影和聚类，对所述颗粒封装的图像进行行列划分，分割出来所述颗粒的图像；
根据所述颗粒分布概率图，采用全连接条件概率场模型，对所述颗粒的图像的分割结果进行优化。


4.根据权利要求2所述的方法，其特征在于，多个所述模板封装在模板封装中，多个所述颗粒封装在颗粒封装中，所述从多个所述模板中提取每个所述模板的图像、以及从多个所述颗...

【专利技术属性】
技术研发人员：侯婉嫕，袁亮，刘鹏坤，
申请(专利权)人：优刻得科技股份有限公司，
类型：发明
国别省市：上海;31