一种喷码字符检测方法技术

本发明专利技术公开了一种喷码字符检测方法：步骤(1)采集一幅合格样品的喷码图像作为基准图像；步骤(2)在基准图像上画框选择待检测的字符区域；步骤(3)采集流水线上待检测的喷码样品图像；步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差，则采用基于特征点匹配的目标跟踪算法跟踪待检测的字符区域；步骤(5)如果待检测的字符区域中可能包含多行文字，则将字符区域图像输入至语义分割神经网络中，将多行文字区域分割为单行；步骤(6)校正扭曲和/或倾斜的单行文字；步骤(7)采用改进的卷积循环神经网络算法识别单行文字；步骤(8)判断是否检测完所有样品，若未完成则重复步骤(3)‑(8)，否则结束检测。

A detection method of inkjet character

【技术实现步骤摘要】
一种喷码字符检测方法
本专利技术属于工业视觉检测
，尤其涉及一种喷码字符检测方法。
技术介绍
在商品生产过程中，需要在商品包装表面对生产日期、产品批号等信息进行喷码。由于生产环境中不确定因素的干扰，喷码过程中往往会出现漏喷、重码、喷码字符缺失、喷码字符错误等情况。人工检测喷码产品是否合格，速度慢，效率低，且会耗费大量人力成本。目前常采用机器视觉方法检测喷码字符，用图像传感器采集流水线上的商品包装的喷码图像，再传输给字符检测模块处理。在商品喷码和图像采集过程中，由于机械抖动等原因，图像中喷码字符的位置会发生偏移，导致无法准确定位喷码字符的区域；在工业环境中采集的喷码图像存在噪声、不均匀光照、不均匀背景、低对比度、字符粘连等问题，会影响喷码检测的精度；在实际生产中，有时会将字符喷码在油壶、饮料瓶等曲面物体上，造成字符的弯曲变形；此外工业检测要求较高的准确性和实时性，这些都给喷码字符检测带来了挑战。近年来随着深度学习的发展，自然场景文字检测与识别技术已经取得了较大进展，但常用的基于深度学习的场景文字检测方法如SSD(Single本文档来自技高网...

【技术保护点】
1.一种喷码字符检测方法，其特征在于，所述方法包括如下步骤：/n步骤(1)采集一幅合格样品的喷码图像作为基准图像；/n步骤(2)在基准图像上画框选择待检测的字符区域；/n步骤(3)采集流水线上待检测的喷码样品图像；/n步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差，则采用基于特征点匹配的目标跟踪算法，跟踪待检测的字符区域；/n步骤(5)如果待检测的字符区域中可能包含多行文字，则将字符区域图像输入至语义分割神经网络中，将多行文字区域分割为单行；/n步骤(6)校正扭曲和/或倾斜的单行文字；/n步骤(7)采用改进的卷积循环神经网络算法识别单行文字；/n步骤(8)判断是否检测完所...

【技术特征摘要】
1.一种喷码字符检测方法，其特征在于，所述方法包括如下步骤：
步骤(1)采集一幅合格样品的喷码图像作为基准图像；
步骤(2)在基准图像上画框选择待检测的字符区域；
步骤(3)采集流水线上待检测的喷码样品图像；
步骤(4)如果当前图像的字符区域相对于基准图像的字符区域位置存在偏差，则采用基于特征点匹配的目标跟踪算法，跟踪待检测的字符区域；
步骤(5)如果待检测的字符区域中可能包含多行文字，则将字符区域图像输入至语义分割神经网络中，将多行文字区域分割为单行；
步骤(6)校正扭曲和/或倾斜的单行文字；
步骤(7)采用改进的卷积循环神经网络算法识别单行文字；
步骤(8)判断是否检测完所有样品，若未完成则重复步骤(3)-(8)，否则结束检测。


2.如权利要求1所述的喷码字符检测方法，其特征在于，所述步骤(4)包括如下子步骤：
步骤(4.1)采用特征点检测算法检测基准图像的特征点，并使用二进制特征描述子对特征进行描述，得到特征点集合O；
步骤(4.2)采用与步骤(4.1)相同的特征点检测算法与特征描述子，对当前图像进行特征检测，得到特征点集合P；
步骤(4.3)采用k最近邻匹配算法对当前图像的特征集合O与基准图像的特征集合P进行特征匹配；
步骤(4.4)对匹配结果进行筛选，剔除误匹配的特征点；
步骤(4.5)根据匹配结果，计算当前图像文字区域相对于基准图像文字区域的旋转角度和当前图像文字区域的中心坐标。


3.如权利要求1或2所述的喷码字符检测方法，其特征在于，所述步骤(5)包括如下子步骤：
步骤(5.1)将字符区域图像输入至语义分割神经网络中，将图像中的每个像素分为文字、背景、文字与背景的边界三类，得到一幅三通道的像素概率图，三个通道分别对应当前像素属于文字、背景、边界的概率；
步骤(5.2)对像素概率图进行阈值化，生成文字分割二值图，将黑色像素所在区域作为背景，白色像素区域作为字符区域；
步骤(5.3)文字分割二值图中可能还存在一些伪文字区域，对文字分割二值图做连通域分析，标记出图中所有的连通域，去除图中宽度、高度、面积超出阈值的连通域，输出文本行分割结果。


4.如权利要求1或2所述的喷码字符检测方法，其特征在于，所述步骤(4.1)具体为：
根据特征点的坐标是否位于画框选择的区域内，将特征点划分为前景特征点和背景特征点，得到前景特征点集合Of和背景特征点集合Ob，合并前景特征点集合Of和背景特征点集合Ob得到特征点集合O＝Of∪Ob；其中为基准图像的特征点的坐标，fio为该特征点的描述子，|O|为集合O中的特征点总数目。


5.如权利要求1或2所述的喷码字符检测方法，其特征在于，所述步骤(4.3)具体为：
对特征集合P中的每一个特征点计算其描述子fip与特征集合O中每一个特征点的特征描述子的汉明距离作为特征点与之间的距离其中XOR表示异或运算，代表特征描述子fip在第n维度上的值，代表特征描述子在第n维度上的值，dim代表特征描述子的总维数；
返回特征集合O中与特征点距离最近的匹配点和次近的匹配点。


6.如权利要求1或2所述的喷码字符检测方法，其特征在于，所述步骤(4.5)具体为：
旋转角度的计算方法为：
对于特征集合K中的任意两个特征点对(ai,mi),(aj,mj)，记特征点ai,aj的水平距离竖直距离其中分别代表特征点ai的横坐标和纵坐标，同理特征点mi,mj的水平距离竖直距离其中分别代表特征点mi的横坐标和纵坐标，计算集合K中每一对关键点旋转角度的集合Dθ：取Dθ分布的中值θ作为旋转角度：θ＝med(...

【专利技术属性】
技术研发人员：尤新革，江国星，彭勤牧，陈靖，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42