基于机器视觉的在线字符检测方法和系统技术方案

本发明专利技术属于自动检测技术领域，涉及一种基于机器视觉的在线字符检测方法，该检测方法包括图像预处理、目标提取、字模提取、字符序列模式产生、字符检测等多个软件模块，由上述的模块组合起来形成两个独立的流程：产品建立操作流程和字符实时检测流程。本发明专利技术同时提供一套实现上述检测方法的在线检测系统。本发明专利技术提供的检测系统和方法，具有很强的鲁棒性，可以有效降低由于环境或者其他因素导致的亮度、对比度、质量、字符笔画、旋转和尺度等图像变化的影响，可以实现快速准确的字符区域定位、高效实时的字符在线检测。

【技术实现步骤摘要】

本专利技术属于计算机视觉、图像处理和模式识别
，涉及一种在线字符检测方法和 系统。
技术介绍
随着制造企业规模化、信息化的不断发展，生产厂家对在线产品标签等字符检测的要求 越来越高，需要在高速的生产线上实现高度准确性的检测。依靠人工检测的方法已经根本无 法胜任，高速高精度的机器视觉检测的应用可大幅提高产品质量和可靠性。字符检测是利用 计算机自动辨识产品标签或包装上的字符，是模式识别的一个重要分支，属于字符识别技术 的范畴。字符识别技术这几年发展迅速，在物流信息、仪表读数、车牌识别、票据识别、身 份证鉴别等方面有广阔的应用前景，以达到提高效率和降低人工成本的目的。目前，字符的 识别方法主要有基于模板匹配的方法，基于字符结构的方法和基于神经网络的方法，这些现 有的图像识别方法都或多或少的带有一定的局限性，在一种环境下效果很好的方法换一种环 境识别效果可能很不理想。 一些有一定通用性，识别效果好的方法，往往计算量很大，难以 实时应用。
技术实现思路
为了克服现有技术中单一识别方法检测能力的不足和通用方法无法实时处理的问题，本 专利技术提供一种在线字符检测方法和检测系统，利用本专利技术提出的检测方法和检测系统，能够 实现快速、高精度字符检测功能。本专利技术解决其技术问题所采用的方案如下 一种基于机器视觉的在线字符检测方法，包括下列步骤，其中的(1)至(9)步骤为 产品建立操作流程，步骤(10)至(14)为字符在线检测流程 (1)对采集到的包含字符的参考图像进行预处理；(2 )在经过预处理后得到的参考图像中选择字符区域或者邻近位置中具有刚性特征的部分作为定位目标；(3) 在定位目标中提取闭合的轮廓特征和非闭合的线特征，按照尺度大小对提取的几 何特征进行排序；(4) 按照从大到小的顺序将每一尺度设为分割阈值，把所提取的几何特征分成大尺度 特征集和小尺度特征集两个部分，通过大尺度特征集在参考图像中进行全局快速特征匹配， 在粗定位的基础上再利用小尺度特征集进行局部特征匹配以精确定位目标，记录每次定位的 匹配精度和速度，依据匹配速度确定各尺度特征的加权系数，选择在匹配速度和匹配精度之 间取得最大平衡的尺度作为最佳尺度阈值并对提取的几何特征进行分割，把定位目标表示成 大小两个特征集合及特征加权系数构成的数据结构；(5) 从参考图像中提取字模，并指定字模的坐标原点；(6) 通过设置长度、宽度、名字和字模原点来定义空字模；(7) 对字模的像素值进行修改，改善字模子图细节，并进行掩模处理；(9) 生成字符序列模式，其中包含对应字模库、组成序列的待检测字符、字符序列 模式的坐标原点；序列中各字符基于模式原点的相对坐标、序列中各字符的检测接受阈值和 置信阈值；(10) 设定在线字符检测系统的运行参数，并利用该装置实时采集包含待检字符的图像(11) 对采集到的包含待检字符的图像进行图像预处理；(12) 在设定的搜索区域内通过大尺度特征集及相关加权系数在指定搜索区域内进行粗 定位，在此基础上通过小尺度特征集及相关加权系数对目标精确定位，根据所设定的运行参 数调整字模图像和匹配图像子块重复上述粗定位和精确定位过程，选择与提取目标具有最大 相似度且该值超过定位接受阈值的图像区域作为定位结果；(13) 根据定位结果，将全局坐标系转换为以定位目标的原点作为原点的局部坐标系；(14) 进行静态字符序列、动态字符序列和空字符的检测。作为优选实施方式，上述的在线字符检测方法，步骤(3)中，利用Ca皿y算子提取特征(8)提取字模的七个Hu不变矩特征，采用公式 "=1 ''=1 计算字模之间的相似度并生成相似度系数矩阵，式中，A("'力是搜索位置(&"上的不变矩相关 值，A《为匹配图不变矩，《("'，')参考图搜索位置G"')上的不变矩；;步骤(10)中设定的运行参数包括目标定位参数和字符检测参数，其中目标定位参数包括 设定定位接受阈值、搜索区域以及目标发生旋转、尺度变化的容许范围，字符检测参数包括 设定待检字符序列中各字符发生旋转、平移、尺度变化的容许范围。 步骤(14)中的静态字符序列的检测可以通过以下步骤进行第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像 子块与待检字符的字模进行不变矩归一化相关匹配计算，得到相似度，依据预设的运行参数 调整匹配位置连续进行匹配，如果最大相似度小于检测接受阈值，则该字符检测失败，否则 ，继续执行下一步；第二步，根据字模编译所得相似度系数矩阵和预设的相似度阈值，确定该字模库中与待 检字符高度相似而可能引起误判的易混字符；第三步，按照第一步所述过程计算所有易混字符的相似度；第四步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信 阈值，则该字符检测成功；否则检测失败。步骤(15)中的动态字符序列的检测通过以下步骤进行第一步，根据定位结果和序列中各字符基于模式原点的相对坐标，在目标位置选取图像 子块与待检字符实例的字模逐一进行不变矩归一化相关匹配计算，得到相似度，并依据预设 的运行参数调整匹配位置连续进行匹配，如果任一字符或字符实例的最大相似度都低于检测 接受阈值，则检测失败；第二步，取具有最大相似度的字符或字符实例作为待检字符；第三步，根据字模编译所得相似度系数矩阵和所设相似度阈值，在该字模库中确定与待 检字符高度相似而可能引起误判的易混字符。第四步，按照第一步所述过程计算所有易混字符的相似度。第五步，如果待检字符的最大相似度与易混字符的最大相似度之间的差值大于检测置信 阈值，则该字符检测成功；否则检测失败。步骤(15)在所有其他非空字符检测完毕以后通过以下步骤进行空字符的检测先通过 比较待检空字符的平均灰度值和其相邻字符的平均灰度值来确定空字符是否存在，再计算空 字符匹配度并与检测接受阈值进行比较，以此判断空字符是否检测成功。本专利技术同时提供一种实现上述基于机器视觉的在线字符检测方法的系统，包括摄像机、 光源、图像采集卡和计算机，所述的摄像机用于在线采集包含字符的图像，所采集到的图像 经过图像采集卡传送至计算机，所述的光源采用包围摄像机的环形光源，在所述的计算机内存储有对参考图像进行预处理、目标提取和字模提取后生成的数据以及字符序列模式数据 ，并存储有对图像进行预处理、目标定位以及字符检测软件，用于对静态字符序列、动态字 符序列和空字符进行在线检测。本专利技术提供的检测系统和方法，综合应用了图像处理、模式识别、机器视觉领域的技术 ，有效提取目标和字符的特征信息，在目标定位的基础上进行检测，具有很强的鲁棒性，可 以有效降低由于环境或者其他因素导致的亮度、对比度、质量、字符笔画、旋转和尺度等图 像变化的影响，可以实现快速准确的字符区域定位、高效实时的字符在线检测。附图说明图l:本专利技术硬件系统框图2:本专利技术软件产品建立操作流程图3:本专利技术软件字符实时检测流程图l中l摄像机，2光源，3传输线，4图像采集卡，5计算机。具体实施例方式本专利技术是一种通用字符检测系统，该硬件系统由硬件部分和软件部分组成。 如图1所示，该硬件部分由摄像机、光源、传输线、图像采集卡和计算机组成。本实施 例的摄像机镜头采用线阵CCD摄像头。光源采用包围摄像机的环形光源。图像采集卡采用基 于微型计算机本文档来自技高网...

【技术保护点】
一种基于机器视觉的在线字符检测方法，包括下列步骤，其中的（１）至（９）步骤为产品建立操作流程，步骤（１０）至（１４）为字符在线检测流程：　（１）对采集到的包含字符的参考图像进行预处理；　（２）在经过预处理后得到的参考图像中选择字 符区域或者邻近位置中具有刚性特征的部分作为定位目标；　（３）在定位目标中提取闭合的轮廓特征和非闭合的线特征，按照尺度大小对提取的几何特征进行排序；　（４）按照从大到小的顺序将每一尺度设为分割阈值，把所提取的几何特征分成大尺度特征 集和小尺度特征集两个部分，通过大尺度特征集在参考图像中进行全局快速特征匹配，在粗定位的基础上再利用小尺度特征集进行局部特征匹配以精确定位目标，记录每次定位的匹配精度和速度，依据匹配速度确定各尺度特征的加权系数，选择在匹配速度和匹配精度之间取得最大平衡的尺度作为最佳尺度阈值并对提取的几何特征进行分割，把定位目标表示成大小两个特征集合及特征加权系数构成的数据结构；　（５）从参考图像中提取字模，并指定字模的坐标原点；　（６）通过设置长度、宽度、名字和字模原点来定义空字模 ；　（７）对字模的像素值进行修改，改善字模子图细节，并进行掩模处理；　（８）提取字模的七个Ｈｕ不变矩特征，采用公式Ｒ（ｕ、ｖ）＝＊Ｍ↓［ｉ］Ｎ↓［ｉ］（ｕ、ｖ）／＊＊＊计算字模之间的相似度并生成相似度系数矩阵，式中，Ｒ（ｕ，ｖ） 是搜索位置（ｕ，１’）上的不变矩相关值，Ｍｉ为匹配图不变矩，Ｎｉ（ｕ，ｖ）参考图搜索位置（ｕ，ｖ）上的不变矩；　（９）生成字符序列模式，其中包含：对应字模库、组成序列的待检测字符、字符序列模式的坐标原点；序列中各字符基于模式原点的相对 坐标、序列中各字符的检测接受阈值和置信阈值；　（１０）设定在线字符检测系统的运行参数，并利用该装置实时采集包含待检字符的图像；　（１１）对采集到的包含待检字符的图像进行图像预处理；　（１２）在设定的搜索区域内通过大尺度特征 集及相关加权系数在指定搜索区域内进行粗定位，在此基础上通过小尺度特征集及相关加权系数对目标精确定位，根据所设定的运行参数调整字模图像和匹配图像子块重复上述粗定位和精确定位过程，选择与提取目标具有最大相似度且该值超过定位接受阈值的图像区域作为定位结果；　（１３）根据定位结果，将全局坐标系转换为以定位目标的原点作为原点的局部坐标系；　（１４）进行静态字符序列、动态字符...

【技术特征摘要】

【专利技术属性】
技术研发人员：任海燕，曹金平，丁学文，余天洪，马永发，
申请(专利权)人：天津普达软件技术有限公司，
类型：发明
国别省市：12[中国|天津]