一种基于深度学习的字符比对方法和比对系统技术方案

本发明专利技术涉及深度学习领域，提出了一种基于深度学习的字符比对方法，包括以下步骤：获取图纸字符块和实物字符块的特征向量；计算图纸字符块特征向量和实物字符块特征向量之间的距离值；根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。本发明专利技术通过神经网络特征提取以及相似性度量，可以自动的对图纸字符和实物字符比对，查找是否出现漏刻，错刻等情况，可以大大的减少人工的比对，减少人力资源的浪费，同时提高比对的精度和效率。本发明专利技术还提出了一种基于深度学习的字符比对系统。

A Character Comparison Method and System Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的字符比对方法和比对系统
本专利技术涉及深度学习
，具体涉及一种基于深度学习的字符比对方法和比对系统。
技术介绍
制造业中往往涉及根据图纸在实物表面刻印字符，特别是在机械化生产过程中，会因为刻印工具的断电、卡停以及断裂等意外情况导致刻印过程中出现丢刻字符、漏刻字符以及刻印错误等情况。在质检阶段将进行图纸和实物刻印字符的比对，来检测这些不合格情况。但目前，质检阶段的比对和检测工作往往由人工承担，不仅耗费大量的人力资源，同时检测效率极低。随着目前机器学习技术的深入研究，如何利用深度学习技术代替人工检测，改用机器进行视觉字符比对，是目前亟待解决的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于深度学习的字符比对方法和比对系统，将采集的图纸图像块和实物字符图像块输入系统，通过深度学习做出相似性度量，根据阈值加以判断是否匹配，一次判断是否出现漏刻、错刻等情况。本专利技术的技术方案是这样实现的：一种基于深度学习的字符比对方法，包括以下步骤：获取图纸字符块和实物字符块的特征向量；计算图纸字符块特征向量和实物字符块特征向量之间的距离值；根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。可选地，所述获取图纸字符块和实物字符块的特征向量的步骤，包括：调用预先训练好的特征向量提取模型，对输入的图纸字符块图像或者实物字符块图像进行处理。可选地，所述特征向量提取模型包括：实物字符块图像或者图纸字符块图像输入到特征向量提取模型后，依次经过64×64、32×32、16×16、8×8、1×1的降采样卷积层，得到多维特征矩阵，随后进行上采样操作过程，上采样操作过程包括依次经过8×8、16×16、32×32、64×64、1×1的5层上采样卷积层和4个合并层，5层上采样卷积层和4个合并层交替相接；合并层是对上一层卷积层输出的特征矩阵与同大小的降采样卷积层得到的结果做一个多维矩阵元素加和，然后在保持特征矩阵第三维大小的基础上将1、2维通道扩充为原来的二倍，然后再输入下一层的上采样卷积层；最终得到64×64的特征矩阵，然后拉长为特征向量。可选地，所述计算图纸字符块特征向量和实物字符块特征向量之间的距离值的步骤，包括：计算图纸字符块特征向量和实物字符块特征向量之间的欧式距离和余弦距离，并将欧式距离和余弦距离按照权重比例拟合，获得最终的距离值。可选地，所述基于深度学习的字符比对方法还包括预处理步骤，预处理步骤包括：对需要比对的图纸字符块和实物字符块进行预处理，字符块尺度缩放统一为标准输入网络的像素尺度，特殊字符块进行二值化处理，预处理完毕后进行特征向量的提取。本专利技术还提出了一种基于深度学习的字符比对系统，调用预先训练好的孪生网络模型进行相似性度量，孪生网络模型包括特征向量提取模块和相似性度量模块；特征向量提取模块用于获取图纸字符块特征向量和实物字符块特征向量；相似性度量模块用于计算图纸字符块特征向量和实物字符块特征向量之间的距离值；还包括阈值判断模块，阈值判断模块用于根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。可选地，所述特征向量提取模块为双输入模块，输入实物字符块图像和图纸字符块图像的图片对，孪生网络模型在训练过程中需要同时满足实物字符块图像和图纸字符块图像的特征提取效果要求。可选地，所述相似性度量模块包括欧式距离计算单元、余弦距离计算单元和联合单元；欧式距离计算单元通过欧式距离公式计算图纸字符块特征向量和实物字符块特征向量之间的欧式距离；余弦距离计算单元通过余弦距离公式计算图纸字符块特征向量和实物字符块特征向量之间的余弦距离；联合单元通过联合公式将欧式距离和余弦距离按照权重比例拟合成最终的距离值。可选地，所述孪生网络模型的训练过程包括：首先，搭建初始的孪生网络模型；然后，通过训练集训练孪生网络模型的参数，训练集包括匹配无错误的字符对和不匹配有刻印错误的字符对，还包括匹配与不匹配的标签，每隔设定次数的训练步骤，在验证集上计算每个字符对是否判断正确，然后计算总的精确度；当精确度达到设定阈值则停止训练孪生网络模型，如果达到设定的训练总次数后，精确度依然没达到预设的要求，则调整最初的孪生网络模型网络搭建层数，重新训练。可选地，所述基于深度学习的字符比对系统还包括预处理模块，预处理模块首先对需要比对的字符块进行预处理，尺度缩放统一为标准输入网络的像素尺度，特殊字符块需要进行二值化处理，预处理完毕后的字符块输入特征向量提取模块。可选地，所述特征向量提取模块包括：实物字符块图像或者图纸字符块图像输入到特征向量提取模块后，依次经过64×64、32×32、16×16、8×8、1×1的降采样卷积层，得到多维特征矩阵，随后进行上采样操作过程，上采样操作过程包括依次经过8×8、16×16、32×32、64×64、1×1的5层上采样卷积层和4个合并层，5层上采样卷积层和4个合并层交替相接；合并层是对上一层卷积层输出的特征矩阵与同大小的降采样卷积层得到的结果做一个多维矩阵元素加和，然后在保持特征矩阵第三维大小的基础上将1、2维通道扩充为原来的二倍，然后再输入下一层的上采样卷积层；最终得到64×64的特征矩阵，然后拉长为特征向量。本专利技术的有益效果是：(1)可以自动的对图纸字符和实物字符比对，查找是否出现漏刻，错刻等情况；(2)可以大大的减少人工的比对，减少人力资源的浪费，同时提高比对的精度和效率。附图说明图1为本专利技术一种基于深度学习的字符比对方法的一个可选实施流程示意图；图2为特征向量提取模型的一个可选实施结构示意图；图3为合并层的一个可选实施结构示意图；图4为本专利技术一种基于深度学习的字符比对方法的另一个可选实施流程示意图；图5为本专利技术一种基于深度学习的字符比对系统的一个可选实施结构控制框图；图6为特征向量提取模块的一个可选实施结构示意图。具体实施方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。图1示出了基于深度学习的字符比对方法的一个可选实施例。该可选实施例中，基于深度学习的字符比对方法包括以下步骤：步骤11，获取图纸字符块和实物字符块的特征向量。步骤12，计算图纸字符块特征向量和实物字符块特征向量之间的距离值。步骤13，根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。若图纸字符块特征向量和实物字符块特征向量之间的距离值小于阈值，则认为图纸字符块和实物字符块之间可以匹配，刻印错误在可接受范围，判定为相似。若图纸字符块特征向量和实物字符块特征向量之间的距离值大于或者超过阈值，则认为图纸字符块和实物字符块之间不匹配，出现刻印错误情况，判定为不相似，例如印刻过程出现断刻，多刻等情况。可选地，上述获取图纸字符块和实物字符块的特征向量的步骤11，包括：调用预先训练好的特征向量提取模型，对输入的图纸字符块图像或者实物字符块图像进行处理。图2示出了特征向量提取模型的一个可选实施例。该可选实施例中，实物字符块图像或者图纸字符块图像输入到特征矩阵提取模型后，依次经过64×64、32×32、16×16、8×8、1×1的降采样卷积层，得到多维特征矩阵，随后进行上本文档来自技高网...

【技术保护点】
1.一种基于深度学习的字符比对方法，其特征在于，包括以下步骤：获取图纸字符块和实物字符块的特征向量；计算图纸字符块特征向量和实物字符块特征向量之间的距离值；根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。

【技术特征摘要】
1.一种基于深度学习的字符比对方法，其特征在于，包括以下步骤：获取图纸字符块和实物字符块的特征向量；计算图纸字符块特征向量和实物字符块特征向量之间的距离值；根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。2.如权利要求1所述的一种基于深度学习的字符比对方法，其特征在于，所述获取图纸字符块和实物字符块的特征向量的步骤，包括：调用预先训练好的特征向量提取模型，对输入的图纸字符块图像或者实物字符块图像进行处理。3.如权利要求1所述的一种基于深度学习的字符比对方法，其特征在于，所述计算图纸字符块特征向量和实物字符块特征向量之间的距离值的步骤，包括：计算图纸字符块特征向量和实物字符块特征向量之间的欧式距离和余弦距离，并将欧式距离和余弦距离按照权重比例拟合，获得最终的距离值。4.如权利要求1所述的一种基于深度学习的字符比对方法，其特征在于，还包括预处理步骤，预处理步骤包括：对需要比对的图纸字符块和实物字符块进行预处理，字符块尺度缩放统一为标准输入网络的像素尺度，特殊字符块进行二值化处理，预处理完毕后进行特征向量的提取。5.一种基于深度学习的字符比对系统，其特征在于，调用预先训练好的孪生网络模型进行相似性度量，孪生网络模型包括特征向量提取模块和相似性度量模块；特征向量提取模块用于获取图纸字符块特征向量和实物字符块特征向量；相似性度量模块用于计算图纸字符块特征向量和实物字符块特征向量之间的距离值；还包括阈值判断模块，阈值判断模块用于根据图纸字符块特征向量和实物字符块特征向量的距离值，获得字符块相似性结果。6.如权利要求5所述的一种基于深度学习的字符比对系统，其特征在于，所述特征向量提取模块为双输入模块，输入实物字符块图像和图纸字符块图像的图片对，孪生网络模型在训练过程中需要同时满足实物字符块图像和图纸字符块图像的特征提取效果要求。7.如权利要求5所述的一种基于深度学习的字符比对系统，其特征在于，所述相似性度量模块包括欧式距离...

【专利技术属性】
技术研发人员：胥志伟，石志君，张瑜，王胜科，王亚平，吕昕，
申请(专利权)人：青岛伴星智能科技有限公司，
类型：发明
国别省市：山东,37