基于多特征级联模型的工业质检图像文字匹配方法及装置制造方法及图纸

本发明专利技术属于图像处理技术领域，具体涉及基于多特征级联模型的工业质检图像文字匹配方法及装置。所述方法执行以下步骤：步骤1：判断目标图像中是否存在字符区域，若存在，则确定字符区域在目标图像中的位置，并提取字符区域；步骤2：对提取的字符区域进行图像预处理，得到预处理字符区域；步骤3：对预处理字符区域分别进行颜色特征提取、梯度特征提取和深度特征提取，分别得到预处理字符区域的颜色特征、梯度特征和深度特征。本发明专利技术通过引入多种特征，解决了多种字体和字符的识别匹配问题，提升了匹配识别的准确率，同时，还具有效率高的优点。优点。优点。

【技术实现步骤摘要】
基于多特征级联模型的工业质检图像文字匹配方法及装置


[0001]本专利技术属于图像处理
，具体涉及基于多特征级联模型的工业质检图像文字匹配方法及装置。

技术介绍

[0002]图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。
[0003]图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。
[0004]在工业质检领域，如产线质检、物流质检、货物质检等，都有着广泛的应用。产线和物流质检中，往往在生产和运输环节中，需要对货物外包装上的货物信息进行判断识别，做进一步应用。比如检验同一批次货物信息是否有印刷错误。是否在物流运输中出现了不属于本批次的货物等。因此需要通过图像视觉手段，提取当前货物的货物信息，与系统内置的信息做匹配、检索等操作。
[0005]现有技术中，专利号为CN110020615A的专利公开了一种对图片进行文字提取和内容识别以供向对象授权的方法；该方法通过将图片中的你主体与文字信息进行分离后进行匹配，来提升匹配准确率，但对于不同字符和字体的匹配，依然没有较好的解决方案。
[0006]专利号为CN105825084A的专利公开了用于对具有图像的对象进行匹配检测的方法，通过特征提取来进行图像匹配，提升匹配效率和准确率，但该匹配方法进提取一种特征，在准确率上依然处于较低水平。

技术实现思路

[0007]有鉴于此，本专利技术的主要目的在于提供基于多特征级联模型的工业质检图像文字匹配方法及装置，其通过。
[0008]为达到上述目的，本专利技术的技术方案是这样实现的：基于多特征级联模型的工业质检图像文字匹配方法，所述方法执行以下步骤：步骤1：判断目标图像中是否存在字符区域，若存在，则确定字符区域在目标图像中的位置，并提取字符区域；步骤2：对提取的字符区域进行图像预处理，得到预处理字符区域；步骤3：对预处理字符区域分别进行颜色特征提取、梯度特征提取和深度特征提
取，分别得到预处理字符区域的颜色特征、梯度特征和深度特征；步骤4：对得到的颜色特征、梯度特征和深度特征进行特征拼接，得到字符区域特征，再对字符区域特征进行特征匹配识别，完成图像文字匹配。
[0009]进一步的，所述步骤2中对提取的字符区域进行图像预处理的方法执行以下步骤：步骤2.1：对字符区域进行直方图均衡处理，得到第一预处理结果；步骤2.2：对字符区域依次进行灰度二值化处理，得到第一临时结果；再将第一临时结果进行腐蚀膨胀处理，得到第二临时结果；最后将第二临时结果进行梯度计算，得到第三临时结果；步骤2.3：将第三临时结果作为第二预处理结果；将第一临时结果和第三临时结果的合集作为第三预处理结果。
[0010]进一步的，所述步骤3中对预处理字符区域进行颜色特征提取的方法包括：对预处理字符区域进行直方图均衡处理，得到预处理字符区域的RGB三个通道的直方图，分别为和；所述和均为一维的特征，为所述第一预处理结果；将和进行拼接得到一维特征向量，作为颜色特征。
[0011]进一步的，所述步骤3中对预处理字符区域进行梯度特征提取的方法包括：对预处理字符区域的每个像素进行梯度计算，得到预处理字符区域的每个像素的梯度构成的二维梯度向量；再对二维梯度向量进行降维处理，得到一维的梯度向量，将该一维的梯度向量作为梯度特征。
[0012]进一步的，所述步骤3中对预处理字符区域进行深度特征提取的方法包括：将梯度计算后，得到预处理字符区域的梯度图和预处理字符区域的原图进行连接，具体为：将一通道的灰度图和一通道的梯度图做拼接，形成2通道的矩阵；再使用卷积神经网络对连接后的2通道的矩阵进行深度特征提取，得到深度特征。
[0013]基于多特征级联模型的工业质检图像文字匹配装置。
[0014]本专利技术的基于多特征级联模型的工业质检图像文字匹配方法及装置，具有如下有益效果：1.实现对不同字体和字符的匹配：本专利技术可以不用关注每一种文字，字体和字符的形态特征。解决了多种字体和字符的识别匹配。在不必用多种方案，也不需要像现有技术中很多方案要对不同字符特征做区分的情况下，按了文字匹配，大大降低了算法复杂度，提升了系统效率。
[0015]2.精确度高：本专利技术通过多种特征提取。大幅度提升了匹配的准确率，相较于单一特征进行特征提取后进行匹配，多特征匹配，准确率更高。同时工业质检中印刷物显性特征为，颜色和字体的轮廓，本专利技术的多特征匹配针对不同应用场景可以快速部署。能够很好的区分，货物信息是否有印刷错误，货物批次是否投放错误等等，提升了准确率。
[0016]3.效率高：本专利技术在进行多特征匹配时，对多个特征均采用一维向量处理，优化了处理效率，有利于工业部署和成本控制。
附图说明
[0017]图1为本专利技术实施例提供的基于多特征级联模型的工业质检图像文字匹配方法的方法流程示意图；
图2为本专利技术实施例提供的基于多特征级联模型的工业质检图像文字匹配方法的步骤2的流程示意图。
具体实施方式
[0018]下面结合附图及本专利技术的实施例对本专利技术的方法作进一步详细的说明。
[0019]实施例1如图1 所示，基于多特征级联模型的工业质检图像文字匹配方法及装置，所述方法执行以下步骤：步骤1：判断目标图像中是否存在字符区域，若存在，则确定字符区域在目标图像中的位置，并提取字符区域；步骤2：对提取的字符区域进行图像预处理，得到预处理字符区域；步骤3：对预处理字符区域分别进行颜色特征提取、梯度特征提取和深度特征提取，分别得到预处理字符区域的颜色特征、梯度特征和深度特征；步骤4：对得到的颜色特征、梯度特征和深度特征进行特征拼接，得到字符区域特征，再对字符区域特征进行特征匹配识别，完成图像文字匹配。
[0020]具体的，现有技术中，在进行图像文字匹配识别时，只解决单一场景问题，在实际工业应用中效果不佳；只适合单一字体、字符，当字符、字体种类多时，效果不佳，不适合工业应用。流程、流程环节复杂，实际应用效率偏低；通常只考虑单一特征，因此导致实际应用中不能够在全场景中有一个很好的效果；同时，计算复杂度高，不利于工业部署和成本控制。
[0021]针对本专利技术的实施，首先，当输入待处理的图像后，对图片中的字符区域图片进行提取，排除无关非字符图像区域。提取的方法有两种，一种是根据应用场景，使用固定的模版，在相应的位置剪裁出文字区域。如文字固定在左上角，只需提取左上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多特征级联模型的工业质检图像文字匹配方法，其特征在于，所述方法执行以下步骤：步骤1：判断目标图像中是否存在字符区域，若存在，则确定字符区域在目标图像中的位置，并提取字符区域；步骤2：对提取的字符区域进行图像预处理，得到预处理字符区域；步骤3：对预处理字符区域分别进行颜色特征提取、梯度特征提取和深度特征提取，分别得到预处理字符区域的颜色特征、梯度特征和深度特征；步骤4：对得到的颜色特征、梯度特征和深度特征进行特征拼接，得到字符区域特征，再对字符区域特征进行特征匹配识别，完成图像文字匹配。2.如权利要求1所述的方法，其特征在于，所述步骤2中对提取的字符区域进行图像预处理的方法执行以下步骤：步骤2.1：对字符区域进行直方图均衡处理，得到第一预处理结果；步骤2.2：对字符区域依次进行灰度二值化处理，得到第一临时结果；再将第一临时结果进行腐蚀膨胀处理，得到第二临时结果；最后将第二临时结果进行梯度计算，得到第三临时结果；步骤2.3：将第三临时结果作为第二预处理结果；将第一临时结果和第三临时结果的合集作为第三预处理结果。3.如权利要...

【专利技术属性】
技术研发人员：邹子杰，杨玄同，
申请(专利权)人：杨玄同，
类型：发明
国别省市：