一种文本识别对比与图像对比相结合的标签检测方法技术

本发明专利技术提供一种文本识别对比与图像对比相结合的标签检测方法，涉及计算机智能检测技术领域。该文本识别对比与图像对比相结合的标签检测方法，具体包括以下步骤：A.检测前的数据收集和存储，B.印刷稿的扫描与传输。通过基于OCR文本识别对比与图像相似度比较相结合的检测方式，能有效提高内容对比的准确率，防止因过度依赖OCR文本识别对比或过度依赖图像相似度比较带来的误检，图像对齐、文本行对齐后再进行文本区域图像比对，能有效提高文本区域检测精度，对于文本行未对齐部分直接标注，减少检测时间，利用基于孪生网络的相似度比较方式且可训练文本图像不断迭代，可适用于单行多语种共存复杂情况的图像检测，对于复杂多语种情况也可进行检测。情况也可进行检测。情况也可进行检测。

【技术实现步骤摘要】
一种文本识别对比与图像对比相结合的标签检测方法


[0001]本专利技术涉及计算机智能检测
，具体为一种文本识别对比与图像对比相结合的标签检测方法。

技术介绍

[0002]随着计算机视觉技术和深度学习算法的不断发展，迫切需要将人工智能技术运用于工业场景，服装行业布料存在着各式各样多语种的标签用于标注洗涤说明、材质说明和注意事项。
[0003]标签从设计稿到制作最终纸质标签过程因人工管控不合理或制作流程不规范问题存在设计稿与纸质稿不一致的情况，如标签与设计稿版本不一致导致内容不一致，纸质标签存在印刷不良，工厂采取人工方式对设计稿和纸质稿进行标签检测，但人工检测标签存在不好管控、效率低、不确定因素多和准确率低的问题；
[0004]现有的图像对比检测方案多采用像素级直接对比，即将印刷稿图像与设计稿模板图像进行图像像素级比对，判别不一致区域，而由于设计稿与印刷稿之间本身存在着一些区别，直接以像素级对比会存在很多的实际正确但判断为错误的误检，并且对于文本区域而言，文本内容一致的情况下，细微的字体粗细区别不影响其内容正确性，像素对比的严苛性会带来很多误检，同样还有基于OCR的文本图像对比，但由于OCR需要首先判断语种后再针对指定语种进行文本识别，OCR对于小语种判别难度大，多语种识别准确率不高，单纯的OCR识别难以保证标签检测的准确性，并且基于文本识别的方法只能在文本区域进行比较，对于除文本外的图像区域则无能为力。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种文本识别对比与图像对比相结合的标签检测方法，解决了目前人工检测标签存在不好管控、效率低、不确定因素多和准确率低，且对于单行多语种识别准确率低，无法检测既有图像区域又有文本区域的标签和误检率较高的问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：一种文本识别对比与图像对比相结合的标签检测方法，具体包括以下步骤：
[0009]步骤A.检测前的数据收集和存储
[0010]在开始检测前，通过服务器获取设计稿图像集合、基于设计稿图像提取文本行信息和图像特征信息，并将其获取的数据提前存至数据库；
[0011]步骤B.印刷稿的扫描与传输
[0012]将印刷稿图像放置于视觉设备扫描区，通过利用视觉设备代替人工获取印刷稿图像，对印刷稿图像进行扫描并将扫描完成得到的图像传输至服务器；
[0013]步骤C.图像筛选与对齐
[0014]将步骤B中扫描完成的图像进行图像特征提取，利用数据库存储的设计稿图像特征数据与印刷稿即时提取的图像特征数据进行特征匹配，筛选出对应的设计稿图像，筛选出的设计稿图像与印刷稿图像通过图像特征进行图像对齐；
[0015]步骤D.图像文本的对齐与标记
[0016]将步骤C中与数据库中设计稿图像对齐的印刷稿图像进行文本行检测，获取数据库预存的设计稿图像文本行数据，将两图检测的文本行进行对齐，未对齐的文本行直接视作检测不一致区域，标记为非文本区域；
[0017]步骤E.图像文本的判别与检测
[0018]将步骤D中对齐的文本行区域通过中英文OCR识别后比对，对于识别结果字符串比较后低于阈值的文本行图像，通过基于孪生网络的图像相似度比较判别一致性，低于阈值的视作不一致，且标记出不一致区域，其余视作一致文本行图像，步骤D中标记处的非文本行区域基于图像结构化相似度检测比较一致性，像素有区别的图像生成后依次进行二值化、去噪和轮廓检测，通过最小外接矩形标出不一致区域；
[0019]步骤F.结果汇总与传输
[0020]将步骤B
‑
E完成检测的图像数据通过业务后台内对检测结果按照定义好的规则向业务后台进行数据传输、反馈，用于结果的最终呈现。
[0021]优选的，所述基于孪生网络的图像相似度对位为一种可深度学习且不断迭代的系统。
[0022]优选的，所述视觉设备为一种视觉机器，其包括：数字图像传感器、CMOS和CCD摄像机、图像处理和模式识别模块。
[0023]优选的，所述步骤E中低于阈值的文本行图像与非文本行区域均通过基于图像结构化相似度检测比较。
[0024]优选的，所述步骤A中的数据库包括多个子数据端和母数据端且多个子数据端与母数据端相连接。
[0025]优选的，所述步骤B中进行扫描的印刷稿图像需保证表面的清晰度和平整度。
[0026]优选的，所述步骤C和D中的图像和文本对齐后方可进行文本区域图像对比。
[0027](三)有益效果
[0028]本专利技术提供了一种文本识别对比与图像对比相结合的标签检测方法。具备以下有益效果：
[0029]1、本专利技术提供了一种文本识别对比与图像对比相结合的标签检测方法，本专利技术方法通过基于OCR文本识别对比与图像相似度比较相结合的检测方式，能有效提高内容对比的准确率，防止因过度依赖OCR文本识别对比或过度依赖图像相似度比较带来的误检。
[0030]2、本专利技术提供了一种文本识别对比与图像对比相结合的标签检测方法，本专利技术方法通过图像对齐、文本行对齐后再进行文本区域图像比对，以便适用于文本识别和图像相似度对比共存的检测方案，能有效提高文本区域检测精度，对于文本行未对齐部分直接标注，减少检测时间。
[0031]3、本专利技术提供了一种文本识别对比与图像对比相结合的标签检测方法，本专利技术方法基于孪生网络的相似度比较方式且可训练文本图像不断迭代，可适用于单行多语种共存
复杂情况的图像检测，对于复杂多语种情况也可进行检测。
附图说明
[0032]图1为本专利技术的实施流程示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]实施例：
[0035]如图1所示，本专利技术实施例提供一种文本识别对比与图像对比相结合的标签检测方法，具体包括以下步骤：
[0036]步骤A.检测前的数据收集和存储
[0037]在开始检测前，通过服务器获取设计稿图像集合、基于设计稿图像提取文本行信息和图像特征信息，并将其获取的数据提前存至数据库；
[0038]步骤B.印刷稿的扫描与传输
[0039]将印刷稿图像放置于视觉设备扫描区，通过利用视觉设备代替人工获取印刷稿图像，对印刷稿图像进行扫描并将扫描完成得到的图像传输至服务器；
[0040]步骤C.图像筛选与对齐
[0041]将步骤B中扫描完成的图像进行图像特征提取，利用数据库存储的设计稿图像特征数据与印刷稿即时提取的图像特征数据进行特征匹配，筛选出对应的设计稿图像，筛选出的设计稿图像与印刷稿图像通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本识别对比与图像对比相结合的标签检测方法，其特征在于，具体包括以下步骤：步骤A.检测前的数据收集和存储在开始检测前，通过服务器获取设计稿图像集合、基于设计稿图像提取文本行信息和图像特征信息，并将其获取的数据提前存至数据库；步骤B.印刷稿的扫描与传输将印刷稿图像放置于视觉设备扫描区，通过利用视觉设备代替人工获取印刷稿图像，对印刷稿图像进行扫描并将扫描完成得到的图像传输至服务器；步骤C.图像筛选与对齐将步骤B中扫描完成的图像进行图像特征提取，利用数据库存储的设计稿图像特征数据与印刷稿即时提取的图像特征数据进行特征匹配，筛选出对应的设计稿图像，筛选出的设计稿图像与印刷稿图像通过图像特征进行图像对齐；步骤D.图像文本的对齐与标记将步骤C中与数据库中设计稿图像对齐的印刷稿图像进行文本行检测，获取数据库预存的设计稿图像文本行数据，将两图检测的文本行进行对齐，未对齐的文本行直接视作检测不一致区域，标记为非文本区域；步骤E.图像文本的判别与检测将步骤D中对齐的文本行区域通过中英文OCR识别后比对，对于识别结果字符串比较后低于阈值的文本行图像，通过基于孪生网络的图像相似度比较判别一致性，低于阈值的视作不一致，且标记出不一致区域，其余视作一致文本行图像，步骤D中标记处的非文本行区域基于图像结构化相似度检测比较一致性，像素有区别的图像生成后依次进行二值化、去噪和轮廓检测，...

【专利技术属性】
技术研发人员：汪梦添，王茂森，陈轶，张文，牛少彰，
申请(专利权)人：东南数字经济发展研究院，
类型：发明
国别省市：