一种印刷字符缺陷定位方法技术

本发明专利技术涉及一种印刷字符缺陷定位方法，属于视觉检测技术领域，通过仿射变换生成缺陷图像集，将缺陷图像集中不同图像随机区域置为白色形成训练图像集；将缺陷图像集与训练图像集的对应图像相减，通过将对应图像中相同区域像素被置和不同区域像素重置形成对应的标签图像集；将缺陷图像集与标签图像集输入神经网络模型中对样本进行训练，待训练完成后将模型固化导出用于字符缺陷预测，通过预测结果确定所述字符缺陷图像的实际缺陷。在扭曲等放射变换情况下也能够快速检测印刷字符少墨、缺失、漏印缺陷，模拟生产线上的字符印刷过程，不受限于固定模板，能够在图像扭曲、平移等各种不利条件下实现印刷字符少墨、缺失、漏印缺陷的准确检测。

A defect location method for printing characters

【技术实现步骤摘要】
一种印刷字符缺陷定位方法
本专利技术属于视觉检测
，具体涉及一种在扭曲等放射变换情况下印刷字符缺陷(少墨)的定位检测方法。
技术介绍
在工业印刷机对产品外包装、产品说明书等相关印刷品上的印刷字符批量印刷过程中，字符缺失和漏印等问题对印刷质量带来了严重的质量影响。如何提高字符印刷质量以及提高字符缺陷定位精度对机器视觉技术提出了严峻考验。传统的模板匹配技术可以快速实现印刷字符的缺陷(缺失或漏印)定位，如图3所示的英文字符"Tensorflow"以及中文字符"深度学习"中，在平面情况下，字母“e”和汉字“习”的少墨缺陷，模板匹配方法能够很清晰识别字符，但其算法需要基于已有固定的模板。但是在工业加工流水线上，若待检测字符与已有模板之间带有位置偏差或者存在一定的仿射变换（包括图形任意倾斜、扭曲、旋转等仿射变换）时，传统模板匹配算法由于只能基于固有模板，则无法适应变换后的图像，检测结果一般如图4所示，在扭曲情况下发生错位和重影等与原有图形之间的偏差，特别是对于汉字印刷缺陷的识别误差更大，因而便不能发挥准确的检测优势。
技术实现思路
本专利技术要解决的技术问题是，针对印刷字符存在的少墨、缺失或漏印缺陷以及字符印刷过程中存在的扭曲、旋转等仿射变换造成与原有图形之间偏差，本专利技术提供了一种印刷字符缺陷定位方法，能够用于检测多位姿下的印刷字符少墨、缺失或漏印缺陷，提高印刷字符缺陷定位精度，改善字符印刷质量。为解决上述技术问题，本专利技术采用如下技术问题：一种印刷字符缺陷定位方法，其特征在于包括如下步骤：（1）模拟生产线上的字符印刷过程，通过仿射变换生成不同的缺陷字符图像样本，形成缺陷图像集ImageSet；（2）模拟字符缺陷或少墨现象，将缺陷图像集ImageSet中不同图像中随机区域设置为白色，将对应形成的图像集命名为训练图像集TrainSet；（3）将缺陷图像集ImageSet与训练图像集TrainSet的对应图像相减，通过将对应图像中相同区域像素被置和不同区域像素重置来对缺陷类型进行标记，形成对应的标签图像集LabelSet；（4）构建基于缺陷图像的神经网络模型，所述神经网络模型包括特征提取网络以及特征预测网络；将缺陷图像集ImageSet与标签图像集LabelSet输入所述神经网络模型中对样本进行训练，待训练完成后将模型固化导出为model.pb；（5）获取字符图像并输入所述神经网络模型，并调用model.pb文件进行缺陷预测，通过预测结果确定所述字符缺陷图像的实际缺陷，预测结果中0指代背景区域，1指代缺陷区域。上述方案中，步骤（1）图像软件随机生成字符图像，将生成的所述字符图像进行不同程度的扭曲、旋转、平移、仿射变换得到m幅缺陷字符图像样本以构成缺陷图像集ImageSet；所述缺陷字符图像样本为RGB三通道图像，且图像尺寸为[m,n,3]，m对应单幅图像的长，n对应单幅图像的宽。上述方案中，步骤（1）和步骤（5）的所述字符图像至少包括英文字符和中文字符中的一种。上述方案中，步骤（2）采用Matlab软件产生[0,0]到[m,n]的随机二维坐标，设置ImageSet图像集中的字符缺陷，将对应的缺陷区域像素值置为255，即显示为白色，处理后的图像集为训练图像集TrainSet；且训练图像集TrainSet中的图像均为RGB三通道图像，其对应图像尺寸为[m,n,3]。上述方案中，步骤（3）将缺陷图像集ImageSet与训练图像集TrainSet的对应图像相减后，得到的图像转成uint8单通道格式并形成为标签图像集LabelSet。上述方案中，步骤（3）通过将对应图像中相同区域像素被置为0、不同区域像素被置为1来对是否存在缺陷进行标记，形成对应的标签图像集LabelSet。上述方案中，步骤（3）中不同区域设定为缺陷区域，缺陷区域像素被置为1。上述方案中，步骤（3）中所述的缺陷类型为少墨、缺失、漏印缺陷中的至少一种。上述方案中，步骤（4）中，所述特征提取网络前端采用小卷积核卷积层用于局部特征提取，中端以及末端采取大卷积核卷积层用于全局特征提取，并在卷积层后连接池化层以实现特征降维处理，终端连接两个全连接层用于将所提取的特征按背景和字符缺陷这两类进行特征分类。上述方案中，步骤（4）中，所述特征预测网络采用池化层和一个全连接层；所述池化层用于防止特征数据过拟合，所述全连接层用于恢复标签图像集LabelSet预测图为输入图像尺寸。相对于现有技术，本专利技术的字符缺陷检测方法具有如下有益效果：通过仿射变换生成不同的缺陷样本图像，能够模拟工业流水线上字符的少墨、旋转、偏移以及扭曲等实际工况，，相对于模板匹配视觉检测方法能够更加准确地对缺陷字符进行定位，检测精度得到显著提高。特别适用于仿射变换情况下字符少墨、旋转、偏移以及扭曲等实际工况的检测现场，可用于检测多位姿下的印刷字符缺陷在线检测。同时，本专利技术基于小样本缺陷图像构建神经网络，综合考虑工艺加工流水线上字符的旋转、偏移以及仿射变换，网络模型比较简单，不用手动对缺陷类型进行标记分类，只需要将背景简单置白即可，训练速度快计算量少，能快速适应工业流水线上字符的实际缺陷种类，可快速识别字符缺陷，检测速度可以与模板匹配方法相当。最后，本专利技术的字符检测针对字母检测和汉字检测的效果均比较准确，特别适用于字母检测和汉字检测。附图说明图1为本专利技术印刷字符缺陷定位方法的流程图。图2为本专利技术神经网络模型的架构图。图3为传统模板匹配字符缺陷预测效果图。图4为仿射变换条件下的传统模板匹配字符缺陷预测效果图。图5为本专利技术的字符缺陷定位检测效果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1和2所示，本专利技术的印刷字符缺陷定位方法，包括如下步骤：（1）模拟生产线上的字符印刷过程，通过仿射变换生成不同的缺陷字符图像样本，形成缺陷图像集ImageSet。本实施例中，缺陷样本制作优选采用PhotoShop软件生成字符图像，通过旋转、平移、仿射变换生成m幅不同样式的图像，用于模拟生产线上的字符印刷图像，并且该m幅图像构成模型训练图像集合ImageSet，ImageSet图像集中图像为RGB三通道图像，对应图像尺寸为[m,n,3]，其中m对应单幅图像的长，n对应单幅图像的宽。（2）模拟字符缺陷或少墨现象，将缺陷图像集ImageSet中不同图像中随机区域设置为白色，将对应形成的图像集命名为训练图像集TrainSet。具体的，采用Matlab产生[0,0]到[m,n]的随机二维坐标，手动制造ImageSet图像集中的字符缺陷，并将对应缺陷区域像素值置为255本文档来自技高网...

【技术保护点】
1.一种印刷字符缺陷定位方法，其特征在于包括如下步骤：/n（1）模拟生产线上的字符印刷过程，通过仿射变换生成不同的缺陷字符图像样本，形成缺陷图像集Image

【技术特征摘要】
1.一种印刷字符缺陷定位方法，其特征在于包括如下步骤：
（1）模拟生产线上的字符印刷过程，通过仿射变换生成不同的缺陷字符图像样本，形成缺陷图像集ImageSet；
（2）模拟字符缺陷或少墨现象，将缺陷图像集ImageSet中不同图像中随机区域设置为白色，将对应形成的图像集命名为训练图像集TrainSet；
（3）将缺陷图像集ImageSet与训练图像集TrainSet的对应图像相减，通过将对应图像中相同区域像素被置和不同区域像素重置来对缺陷类型进行标记，形成对应的标签图像集LabelSet；
（4）构建基于缺陷图像的神经网络模型，所述神经网络模型包括特征提取网络以及特征预测网络；将缺陷图像集ImageSet与标签图像集LabelSet输入所述神经网络模型中对样本进行训练，待训练完成后将模型固化导出为model.pb；
（5）获取字符图像并输入所述神经网络模型，并调用model.pb文件进行缺陷预测，通过预测结果确定所述字符缺陷图像的实际缺陷，预测结果中0指代背景区域，1指代缺陷区域。


2.根据权利要求1所述的印刷字符缺陷定位方法，其特征在于步骤（1）图像软件随机生成字符图像，将生成的所述字符图像进行不同程度的扭曲、旋转、平移、仿射变换得到m幅缺陷字符图像样本以构成缺陷图像集ImageSet；所述缺陷字符图像样本为RGB三通道图像，且图像尺寸为[m,n,3]，m对应单幅图像的长，n对应单幅图像的宽。


3.根据权利要求1所述的印刷字符缺陷定位方法，其特征在于步骤（1）和步骤（5）的所述字符图像至少包括英文字符和中文字符中的一种。


4.根据权利要求1所述的印刷字符缺陷定位方法，其特征在于步骤（2）采用Matlab软件产生[...

【专利技术属性】
技术研发人员：梅爽，宋瑞超，
申请(专利权)人：熵智科技深圳有限公司，
类型：发明
国别省市：广东;44