一种轮胎压印字符的定位与识别方法技术

本发明专利技术公开了一种轮胎压印字符的定位与识别方法。本发明专利技术主要解决的技术问题是在轮胎轮毂的自动化装配线上对目标压印字符进行定位与识别，包括如下步骤：利用工业相机在暗房中对轮胎图像进行采集；对采集的图像进行预处理；对定位模块进行训练；对识别模块进行训练；通过字符串规则对识别结果进行校验。本发明专利技术的轮胎压印字符定位与识别方法主要针对某款特定轮胎、在短时间内且数据集较少的情况下能够准确定位出目标压印字符的位置并进行识别，具有较高的创新性和实用性，为后续提取目标字符中的关键信息奠定了基础。中的关键信息奠定了基础。中的关键信息奠定了基础。

【技术实现步骤摘要】
一种轮胎压印字符的定位与识别方法


[0001]本专利技术涉及一种字符的定位与识别方法，具体涉及一种轮胎压印字符的定位与识别方法，属于机器视觉与机器学习


技术介绍

[0002]在轮胎轮毂自动化装配线上，由于在轮胎与轮毂上料时，有时会出现误上现象，现通过机器视觉的方式对装配前的轮胎和轮毂中的关键字符串进行识别，提取其中的重要信息以用来检测是否出现误上现象；而传统的方式只能人为通过肉眼去观察，不仅效率缓慢，而且识别准确率相比机器视觉还会有所降低，因此通过机器视觉和深度学习相结合的方式将成为未来自动化生产线、装配线以及检测线上必然趋势。
[0003]而轮胎压印字符顾名思义，是通过模具使物体表面产生凹凸形变压印而成；压印字符与传统字符相比，主要是通过光线照射字符与背景之间的高度差而产生阴影进行区分，因此压印字符有如下特点：(1)字符与背景之间的对比度不高。(2)字符易出现不完整现象。(3)模具数量有限，因此压印字符的字体是有限且工整的。(4)易出现字符倾斜的现象。
[0004]要定位以及识别拥有以上特点的压印字符，传统的OCR技术会出现大量的误识别现象，并且在自动轮胎装配线上，其定位与识别环境也拥有如下特征：(1)由于相机视野焦距固定，同时要求相机视野包括整个轮胎，因此要求相机像素非常高，图片处理时间会相应增加。(2)由于是对轮胎进行装配，所以字符上可能会有污渍等干扰因素。(3)在庞大像素且较为复杂的背景下，目标字符串占的像素点数量较少，传统的定位方式也无法直接找出字符串位置。
[0005]因此，为了解决以上技术问题，确实有必要提供一种准确率更高同时针对轮胎压印字符的定位与识别方法，以用来克服现有的技术中所述的缺陷。

技术实现思路

[0006]为解决上述问题，本专利技术目的在于提供一种轮胎压印字符的定位与识别方法，此方法可以针对某款特定轮胎在短时且少量数据集的情况下对其进行训练之后，在自动化装配线上准确定位并识别目标字符串。
[0007]为实现上述目的，本专利技术采取的技术方案为：一种轮胎压印字符的定位与识别方法，包括如下步骤：
[0008]步骤1)将轮胎至于装有环形光源的暗房中，将光照强度调到最大同时适当的减少曝光时间对轮胎图像进行采集；
[0009]步骤2)对步骤1)中采集到的图像进行预处理，找取轮胎中心即圆心，并通过坐标转换的方式将步骤1)图像中的圆环形胎面展开成矩形；
[0010]步骤3)对步骤2)中的矩形图像进行ROI区域的框选，同时生成可解析的xml文件，其中xml文件保存的是以box为标签，且box标签下保存的数值分别为目标矩形框的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；
[0011]步骤4)对步骤2)中的矩形图像和步骤3)中框选的ROI区域输入到定位模块进行训练，得到相应的网络特征参数；
[0012]步骤5)对步骤2)中的矩形图像通过步骤4)得到的定位模块定位出相应的ROI区域并返回步骤1)中采集到的原图像上的角度信息；
[0013]步骤6)对步骤2)中的矩形图像通过步骤3)中的xml文件与步骤5)中的角度信息得到目标字符串的角度信息并将扇形目标字符展开成矩形，同时通过一种线性变换的方法增强字符串阴影与背景的对比度以用于后续网络更好的找到目标字符串的特征；
[0014]步骤7)对步骤6)中的矩形图像进行识别模块的网络特征提取得到相应的网络特征参数；
[0015]步骤8)对步骤1)中采集到的图像通过步骤2)展开变换、步骤4)中的定位模块与步骤7)中的识别模块进行压印字符的定位与识别。
[0016]进一步的，步骤2)中所述预处理包括步骤1)中采集到的图像进行降像素处理，之后将图像灰度化，并通过霍夫圆变换的方式寻找圆心，所述降像素处理采用OpenCV中的Resize操作，采用的是双线性插值法。
[0017]进一步的，步骤2)中的圆环形胎面展开成矩形的实现方式如下；
[0018]根据圆环形图像与矩形图像之间的对应关系，可以得到圆环图像某一个半径R_1下的坐标方程为：(x
‑
p
x
)2+(y
‑
p
y
)2＝R_12，其中x，y为对应半径下的某点的横、纵坐标，p
x
，p
y
为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：
[0019][0020][0021]展开后的矩形的宽度即为圆环形胎皮的宽度h，矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col,row)与圆环形图像上对应点(x,y)之间的关系为：
[0022]x＝p
x
+(R
‑
row)*sin(col/R)
[0023]y＝p
y
‑
(R
‑
row)*cos(col/R)
[0024]因此，根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点。
[0025]进一步的，所述定位模块为Faster
‑
RCNN。
[0026]进一步的，步骤4)中的xml文件中至少包括一组对应的box1标签和box2标签，其中box1标签保存的是ROI区域，即品牌的位置坐标，box2标签保存的是目标字符串的位置坐标。
[0027]进一步的，步骤5)中的原图像上的角度信息的获取方式如下；
[0028]原图像上的角度信息的定义为：以轮胎中心为圆心，12点钟方向为0度角，col1为矩形的长，对应到步骤1)的图像上也就是弧长，R为半径，它们的比值也就是弧长对应的圆心角，圆心角起始位置为12点钟方向，终止位置为ROI区域的左上角与轮胎中心连线，角度信息即为步骤1)中图像12点钟方向与ROI起始位置与中心连线之间的夹角；
[0029]根据定位模块中返回的数组np1可以得到ROI区域左上角的坐标点和右下角的坐标点，np1中的第一个元素即为ROI区域的最左侧的横坐标col1，对应在步骤1)中采集到的图像上的角度值为col1/R，第二个元素为ROI区域左上角的纵坐标为row1，第三个元素为ROI区域右下角的横坐标为col2，第四个元素为ROI区域右下角的横坐标为row2。
[0030]进一步的，步骤6)中通过解析步骤4)中的xml文件，计算品牌的box1标签与目标字符串的box2标签之间的关系，从而得到品牌与目标字符串之间的角度关系，Δtheta＝(box2
start
‑
box1
start
)/R，Δtheta为品牌与目标字符串起始位置之间的角度差值；同时结合步骤5)得到的训练好的定位模块，自动定位出目标字符串位置并得到其展开后图像，返回目标字符串的开始角度和结束角度信息，计算公式如下：
[0031]theta1＝(return
‑
box1
start
+box2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轮胎压印字符的定位与识别方法，其特征在于：包括如下步骤:步骤1)将轮胎至于装有环形光源的暗房中，将光照强度调到最大同时适当的减少曝光时间对轮胎图像进行采集；步骤2)对步骤1)中采集到的图像进行预处理，找取轮胎中心即圆心，并通过坐标转换的方式将步骤1)图像中的圆环形胎面展开成矩形；步骤3)对步骤2)中的矩形图像进行ROI区域的框选，同时生成可解析的xml文件，其中xml文件保存的是以box为标签，且box标签下保存的数值分别为目标矩形框的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；步骤4)对步骤2)中的矩形图像和步骤3)中框选的ROI区域输入到定位模块进行训练，得到相应的网络特征参数；步骤5)对步骤2)中的矩形图像通过步骤4)得到的定位模块定位出相应的ROI区域并返回步骤1)中采集到的原图像上的角度信息；步骤6)对步骤2)中的矩形图像通过步骤3)中的xml文件与步骤5)中的角度信息得到目标字符串的角度信息并将扇形目标字符展开成矩形，同时通过一种线性变换的方法增强字符串阴影与背景的对比度以用于后续网络更好的找到目标字符串的特征；步骤7)对步骤6)中的矩形图像进行识别模块的网络特征提取得到相应的网络特征参数；步骤8)对步骤1)中采集到的图像通过步骤2)展开变换、步骤4)中的定位模块与步骤7)中的识别模块进行压印字符的定位与识别。2.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤2)中所述预处理包括步骤1)中采集到的图像进行降像素处理，之后将图像灰度化，并通过霍夫圆变换的方式寻找圆心，所述降像素处理采用OpenCV中的Resize操作，采用的是双线性插值法。3.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤2)中的圆环形胎面展开成矩形的实现方式如下；根据圆环形图像与矩形图像之间的对应关系，可以得到圆环图像某一个半径R_1下的坐标方程为：(x
‑
p
x
)2+(y
‑
p
y
)2＝R_12，其中x,y为对应半径下的某点的横、纵坐标，p
x
,p
y
为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：展开后的矩形的宽度即为圆环形胎皮的宽度h，矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col,row)与圆环形图像上对应点(x,y)之间的关系为：x＝p
x
+(R
‑
row)*sin(col/R)y＝p
y
‑
(R
‑
row)*cos(col/R)因此，根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点。4.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：所述定位模块为Faster
‑
RCNN。
5.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤4)中的...

【专利技术属性】
技术研发人员：秦训鹏，蔡策，石爱贤，翁文俊，胡东锦，茆志伟，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：