一种基于深度学习的工业印刷品图像配准方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的工业印刷品图像配准方法及装置，具体为根据对应切割规则从模板图像和待配准图像中分别提取尺寸相同的切片，得到一组切片，将一组切片深度融合后得到图像切片对，将所述图像切片对输入配准网络模型中进行训练，得到配准图像切片；将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。本发明专利技术配准网络模型骨架为类UNet网络，利用空间变换层对不同尺度的特征图进行非刚性配准，配准特征图与解码器中相邻尺度的特征图进行融合，同时相邻尺度配准场也进行融合，综合提升了模型对较大形变印刷品图像的配准能力。本发明专利技术能解决当前部分工业纸质印刷品图像配准存在的问题，配准效果好。

【技术实现步骤摘要】
一种基于深度学习的工业印刷品图像配准方法及装置
本专利技术属于工业印刷品缺陷检测领域，具体涉及一种基于深度学习的工业印刷品图像配准方法及装置。
技术介绍
图像配准是计算视觉领域中一个重要的研究方向，主要目的是对不同条件下(光照度、拍摄角度和拍摄位置等)的两幅或多幅图像进行匹配，实现几何对齐。目前，图像配准可分为传统配准方法和基于深度学习的图像配准方法。传统配准方法有传统刚性配准方法和传统非刚性配准算法两种，其中传统刚性配准算法，例如基于特征的图像配准算法，通过在图像参数空间搜索灰度、边缘以及人工设计的特征，例如SIFT特征、AKAZE特征等，然后根据源图间特征的映射关系利用仿射变换实现配准。图像源之间的特征相对稳定，该类配准算法具有一定的尺度和旋转不变性。但由于图像低级特征和人工设计的特征数量有限，很难准确表征图像间的真实形变，无法在源图出现复杂形变的情况下使用；传统非刚性配准算法，例如基于光流场的DEMONS配准算法，通过迭代运算，对源图间的位移场进行优化直至算法收敛，该算法能够获取良好的配准精度，但算法收敛速度慢，配准耗时长，无法满足工业实时性检测的要求。深度学习图像配准算法在近些年得到了快速的发展，在解决非刚性配准问题上表现出优异的性能。深度学习图像配准算法是通过卷积神经网络提取待配准图像与模板图像之间的形变参数，依据变换参数调整待配准图的形态。按照学习方式的不同，可分为有监督配准算法和无监督配准算法。有监督配准算法依赖大量人工标注的数据样本训练网络，但样本标注难度大，人工标注与真实形变数据也存在差异，直接限制了模型的配准能力。无监督配准算法则无需带有标注的样本训练配准网络，模型的优化通过计算配准图像与模板图的相似度即可实现。基于深度学习的无监督图像配准算法研究主要集中在医学图像领域，在工业机器视觉领域中的研究却很少。在消费电子行业，说明书和包装盒等印刷品在出厂前要经过严格的筛查，确保外观没有缺陷。纸质印刷品缺陷检测的一般流程是用待测图像与模板图像进行比对，找出其中的差异，进而判断产品是否存在缺陷。差分处理是一种快速提取两张图像差异的方法，差分图中保留的信息仅是差分伪影和缺陷。但纸质印刷品是一种非刚性材料，在外力作用下极容易产生各种形变，即便可通过夹具进行固定，也难以获得与模板图像完全相同的形态，传统配准方法难以有效解决纸质印刷品图像非刚性配准问题，无法从根源上减少缺陷检测产生的误判。
技术实现思路
本专利技术为了解决上述工业印刷品缺陷检测中存在的技术问题，提供了一种基于深度学习的工业印刷品图像配准方法及装置，由此解决工业纸质印刷品的图像配准问题。第一方面，本专利技术提供一种基于深度学习的工业印刷品图像配准方法，所述方法包括：S1：采用CMOS工业相机对生产线上的印刷品进行图像采集，得到N种印刷品图像；S2：从N种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；S3：根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对，将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片；S4：将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。进一步的，所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，所述编码器包括第一编码层和第二编码层，所述解码器包括第一解码层和第二解码层，所述中间层包括池化层和卷积层，所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。进一步的，所述“将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片”具体实现步骤为：S31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(W，H，C)的特征图，其中W和H分别表示图像的长和宽，C是通道数，表示图像的深度，采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(W，H，1)的第一特征图，第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2，H/2，C)的特征图，采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(W/2，H/2，1)的第二特征图；S32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算，得到尺度为(W/4，H/4，C)的中间层输出特征图，第二解码层将所述中间层输出特征图上采样得到尺度为(W/2，H/2，C)的特征图，将所述尺度为(W/2，H/2，C)的特征图与第二编码层输出的特征图进行融合，融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图，采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2，H/2，2)的第二图像配准场；S33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(W/2，H/2，1)的第二配准特征图；S34、将第二配准特征图上采样至尺度(W,H,1)，将第二解码层的输出特征图上采样至尺度(W,H,C)，然后与第一编码层的输出特征图三者融合，融合后进行卷积运算得到第一解码层的尺度为(W,H,C)的输出特征图；S35、将第二图像配准场上采样至尺度(W,H,2)，将第一解码层的输出特征图卷积降维至尺度(W,H,2)，然后将两者进行融合，融合后进行卷积降维获得尺度为(W,H,2)的第一图像配准场；S36、将第一特征图和第一图像配准场经过空间变换层的运算得到尺度为(W，H，1)的第一配准特征图；S37、将第一配准特征图与第一解码层的输出特征图融合后输入最后层，卷积运算后得到最后层的尺度为(W，H，C/2)输出特征图；S38、将最后层的输出特征图卷积降维至(W,H,2)，与第一图像配准场进行融合，融合后进行卷积降维获得尺度为(W,H,2)的第三图像配准场；S39、将待配准图像切片和第三图像配准场经过空间变换层的运算最终得到尺度为(W，H，1)配准图像切片。进一步的，所述卷积层采用的激活函数为LeakyReLU函数。进一步的，所述配准网络模型采用的目标损失函数为：其中，y_true表示模板图像切片，y_pred表示配准图像切片，表示配准场的梯度，α表示损失比例系数。第二方面，本专利技术提供一种基于深度学习的工业印刷品图像配准装置，所述装置包括：图像采集单元，用于图像采集，通过采用CMOS工业相机对生产线上的印刷品进行图像采集，得到N种印刷品图像；图像获取单元，用于获取模板图像和待配准图像，从图像采集单元得到的N种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；图像切片单元，用于对模板图像和待配准图像进行切分，根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工业印刷品图像配准方法，其特征在于，所述方法包括：/nS1：采用CMOS工业相机对生产线上的印刷品进行图像采集，得到N种印刷品图像；/nS2：从N种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；/nS3：根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对，将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片；/nS4：将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。/n

【技术特征摘要】
1.一种基于深度学习的工业印刷品图像配准方法，其特征在于，所述方法包括：
S1：采用CMOS工业相机对生产线上的印刷品进行图像采集，得到N种印刷品图像；
S2：从N种印刷品图像中任选一种印刷品图像并从中抽取两张图像，分别作为模板图像和待配准图像；
S3：根据对应切割规则从所述模板图像和所述待配准图像中分别提取尺寸相同的切片，得到一组模板图像切片和对应的待配准图像切片，将所述模板图像切片和待配准图像切片按照深度方向进行融合得到图像切片对，将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片；
S4：将所述配准图像切片舍去边缘部分，然后进行切片对位拼接，得到完整的配准印刷品图像。


2.根据权利要求1所述的一种基于深度学习的工业印刷品图像配准方法，其特征在于，所述配准网络模型包括编码器、解码器、中间层、空间变换层以及最后层，所述编码器包括第一编码层和第二编码层，所述解码器包括第一解码层和第二解码层，所述中间层包括池化层和卷积层，所述空间变换层包括对编码器中不同尺度的特征图进行非刚性配准。


3.根据权利要求2所述的一种基于深度学习的工业印刷品图像配准方法，其特征在于，所述“将所述图像切片对输入配准网络模型中进行推理，得到配准图像切片”具体实现步骤为：
S31、第一编码层接收输入的图像切片对进行特征提取并输出尺度为(W，H，C)的特征图，其中W和H分别表示图像的长和宽，C是通道数，表示图像的深度，采用1×1×1的卷积核对第一编码层输出的特征图进行卷积降维得到尺度为(W，H，1)的第一特征图，第二编码层将第一编码层输出的特征图先进行池化处理后再进行卷积运算并输出尺度为(W/2，H/2，C)的特征图，采用1×1×1的卷积核对第二编码层输出的特征图进行卷积运算得到尺度为(W/2，H/2，1)的第二特征图；
S32、中间层对第二编码层输出的特征图先进行池化处理再进行卷积运算，得到尺度为(W/4，H/4，C)的中间层输出特征图，第二解码层将所述中间层输出特征图上采样得到尺度为(W/2，H/2，C)的特征图，将所述尺度为(W/2，H/2，C)的特征图与第二编码层输出的特征图进行融合，融合后的特征图通过第二解码层进行卷积运算后得到第二解码层的输出特征图，采用3×3×2的卷积核对第二解码层的输出特征图进行卷积降维得到尺度为(W/2，H/2，2)的第二图像配准场；
S33、将第二特征图和第二图像配准场经过空间变换层的运算得到尺度为(W/2，H/2，1)的第二配准特征图；
S34、将第二配准特征图上采样至尺度(W,H,1)，将第二解码层的输出特征图上采样至尺度(W,H,C)，然后与第一编码层的输出特征图三者融合，融合后进行卷积运算得到第一解码层的尺度为(W,H,C)的输出特征图；
S...

【专利技术属性】
技术研发人员：李东明，卢光明，邸亮，范元一，陈勇杰，
申请(专利权)人：哈尔滨工业大学深圳，深圳富桂精密工业有限公司，
类型：发明
国别省市：广东;44