一种用于轮胎胎侧字符的识别方法技术

本发明专利技术提供了一种用于轮胎胎侧字符的识别方法，包括：对新规格轮胎进行图像采集，并对图像进行标注，确定单词与区块归属信息样本；基于所述信息样本对神经网络模型进行训练，获取得到文字检测器，并结合灰度定位方式以及形状匹配方式，生成第一预设策略；基于第一预设策略对待检测轮胎的轮胎图像进行定位查找，生成仿射变换矩阵；基于生成的仿射变换矩阵，对所述轮胎图像进行单个字符裁切，采用第二预设策略对所有单个字符识别成功后，输出单词识别结果；其中，第二预设策略由文字检测器、预训练模型和自训练模型构成。通过使用双模型整体识别和局部错误重判的方式，极大的提高了识别的运行效率和识别的准确率。运行效率和识别的准确率。运行效率和识别的准确率。

【技术实现步骤摘要】
一种用于轮胎胎侧字符的识别方法


[0001]本专利技术涉及自动识别
，特别涉及一种用于轮胎胎侧字符的识别方法。

技术介绍

[0002]目前，伴随着汽车行业自动化、智能化发展，机器视觉检测作为验证生产与装配正确性的可靠技术，成为了汽车生产线自动检测系统的首选。轮胎作为汽车的重要组成部件，与汽车运行性能和安全性能息息相关。汽车轮胎侧面印有轮胎规格、轮胎类型代号、厂商信息、生产编号、负荷指数等信息，在汽车出厂前需要对装配好的轮胎字符进行识别，防止错装或4轮不一致。
[0003]传统检测方法采用人工目检，耗时长，且人工无法长时间连续高准确性的工作，难以保证高可靠性的质量控制，机器视觉技术可以简化传统人工检测流程，能有效地提高轮胎表面字符识别的效率与准确率，防止由于人工检测轮胎出现的人为差错，节省人力和物力。

技术实现思路

[0004]专利技术提供一种用于轮胎胎侧字符的识别方法，用以为保证字符识别的方法能够适应各样的轮胎且准确率能稳定的达到一个较高的水平，提出了一种字符识别结合传统图像处理算法和深度学习识别的方法，能够在不需要轮胎字符列表的情况下，只需要轮胎的实物，通过对新规格轮胎进行标注建模，使用传统的方法对轮胎进行字符的定位，定位之后使用深度学习来进行识别，由于轮胎的字符变化较多，在定位和识别过程中使用了多种策略来对定位和识别的准确性进行改进，从而实现对轮胎字符的准确识别。
[0005]本专利技术提供一种用于轮胎胎侧字符的识别方法，包括：步骤1：对新规格轮胎进行图像采集，并对图像进行标注，确定单词与区块归属信息样本；步骤2：基于所述信息样本对神经网络模型进行训练，获取得到文字检测器，并结合灰度定位方式以及形状匹配方式，生成第一预设策略；步骤3：基于第一预设策略对待检测轮胎的轮胎图像进行定位查找，生成仿射变换矩阵；步骤4：基于生成的仿射变换矩阵，对所述轮胎图像进行单个字符裁切，采用第二预设策略对所有单个字符识别成功后，输出单词识别结果；其中，第二预设策略由文字检测器、预训练模型和自训练模型构成。
[0006]在一种可能实现的方式中，新规格轮胎进行图像采集，并对图像进行标注，包括：对新规格轮胎进行图像采集，并判断采集图像的数量；若所述数量不大于N，持续采集所述新规格轮胎的图像，直到所述数量大于N；基于数量大于N的采集图像生成轮胎一周图，并对所述轮胎一周图设置图片拼接位置，得到拼接起点图；
对所述拼接起点图进行手工标注和半自动识别标注，得到标注图片。
[0007]在一种可能实现的方式中，新规格轮胎进行图像采集，确定单词与区块归属信息样本，包括：基于所述标注图片通过手动框选方式创建单词识别区域；对所述单词识别区域内的单词通过内置的预训练模型自动进行单词真值设置，得到识别结果；基于所述单词区域及所述识别结果绘制第一框进行归属，得到所述单词与区块归属关系；其中，所述识别结果及所述单词与区块归属关系即为所述信息样本。
[0008]在一种可能实现的方式中，基于所述信息样本对神经网络模型进行训练，获取得到文字检测器，包括：确定每个信息样本标注文字区域的映射非线性关系；基于所述映射非线性关系，获取对应标注文字区域的原始概率图像；对所述概率图像进行平滑处理，得到平滑后的概率图像；根据所述原始概率图像与平滑后的概率图像，得到差图像，并按照动态阈值分割方式，对所述差图像进行分割，其中：；；其中，f(x,y)为对应的原始概率图像，g(x,y)为对应平滑后的概率图像，B(x,y)为分割后的差图像，T为对f(x,y)与g(x,y)的差图像进行分割时设定的阈值；若分割后的差图像大于或等于阈值T，则将所述差图像视为图像前景；否则，将所述差图像则为图像背景；对所述前景图像进行形态学操作，去除噪声点造成的影响，得到去噪后的前景图像；对去噪后的前景图像进行连通域检测，获得连通域的轮廓及轮廓中心，对所述轮廓中心进行选择，将距离小于设定阈值的轮廓中心归为一类，且结合同类轮廓中心对应的连通域，得到文字区域；基于所述信息样本获取所述概率图的文字区域的过程，训练得到文字检测器。
[0009]在一种可能实现的方式中，所述第一预设策略包括：第一定位方式以及第二定位方式，包括：其中，文字检测器作为第一定位方式；灰度定位方式与形状匹配方式作为第二定位方式；且第一定位方式定位时间优于第二定位方式的定位时间。
[0010]在一种可能实现的方式中，基于第一预设策略对待检测轮胎的轮胎图像进行定位查找，生成仿射变换矩阵，包括：对待检测轮胎进行图像采集，得到待检测轮胎的轮胎图像；从模型数据库中读取预设网络模型，并基于所述预设网络模型对所述轮胎图像进行标注信息的读取，生成轮胎一周图；
在所述轮胎一周图上查找拼接定位，生成拼接起点图；在所述拼接起点图上采用第一定位方式进行主定位查找；若查找成功，则基于所述拼接起点图生成仿射变换矩阵；否则，采用第二定位方式重新进行增强定位查找；若查找成功，基于所述拼接起点图生成仿射变换矩阵；否则，生成单位矩阵，对所述单位矩阵进行单词仿射变换，生成仿射变换矩阵。
[0011]在一种可能实现的方式中，基于生成的仿射变换矩阵，对所述轮胎图像进行单个字符裁切，采用第二预设策略对所有单个字符识别成功后，输出单词识别结果，包括：基于所述仿射变换矩阵对待检测轮胎进行裁切，得到所需识别的单词区域，将所需识别的单词区域进行打包处理，并利用第二预设策略进行识别；识别正确后，保存识别结果以及识别结果对应的区域信息，输出所述识别结果及对应区域信息。
[0012]在一种可能实现的方式中，将所需识别的单词区域进行打包处理，并利用第二预设策略进行识别，包括：对所需识别的单词区域进行打包后，使用第一模型与第二模型并行的方式进行第一字符识别，得到第一模型识别结果与第二模型识别结果；将第一模型识别结果和第二模型识别结果分别与所述信息样本进行比较；若第一模型识别结果与第二模型识别结果都与所述信息样本不同，则判定第一字符识别错误并采用文字检测器重新进行第二字符识别，得到识别结果；将所述识别结果与信息样本重新进行比较；若判定第二字符识别错误，则进行相似字符判断；若相似字符仍识别错误，则拓展拼接起点图的定位尺寸重新进行定位识别，直至识别成功。
[0013]在一种可能实现的方式中，若相似字符仍识别错误，则拓展拼接起点图的定位尺寸重新进行定位识别的过程中，包括：锁定仍识别错误的相似字符基于所述单词区域的第一位置；根据所述单词区域的单词分布，构建基于所述单词区域的点标定图；建立所述第一位置与所述点标定图的位置关系，并根据所述位置关系，判断所述第一位置是否为边缘位置，若是，获取所述相似字符的第一字符轮廓，并与字符数据库进行判断，确定所述第一字符轮廓是否为唯一轮廓，若是，则判定对应第一字符不作为位置扩展的参考；若所述第一字符轮廓不是唯一轮廓，则从所述字符数据库中获取与所述字符轮廓完全匹配的字符集合，并从所述字符集合中分别获取每个第二字符轮廓基于第一字符轮廓的多余轮廓以及所述多余轮廓的轮廓占用矩形；从所有轮廓占用矩形中获取最大占用矩形，作为对应第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于轮胎胎侧字符的识别方法，其特征在于，包括：步骤1：对新规格轮胎进行图像采集，并对图像进行标注，确定单词与区块归属信息样本；步骤2：基于所述信息样本对神经网络模型进行训练，获取得到文字检测器，并结合灰度定位方式以及形状匹配方式，生成第一预设策略；步骤3：基于第一预设策略对待检测轮胎的轮胎图像进行定位查找，生成仿射变换矩阵；步骤4：基于生成的仿射变换矩阵，对所述轮胎图像进行单个字符裁切，采用第二预设策略对所有单个字符识别成功后，输出单词识别结果；其中，第二预设策略由文字检测器、预训练模型和自训练模型构成。2.根据权利要求1所述的一种用于轮胎胎侧字符的识别方法，其特征在于，步骤1中，对新规格轮胎进行图像采集，并对图像进行标注，包括：对新规格轮胎进行图像采集，并判断采集图像的数量；若所述数量不大于N，持续采集所述新规格轮胎的图像，直到所述数量大于N；基于数量大于N的采集图像生成轮胎一周图，并对所述轮胎一周图设置图片拼接位置，得到拼接起点图；对所述拼接起点图进行手工标注和半自动识别标注，得到标注图片。3.根据权利要求1所述的一种用于轮胎胎侧字符的识别方法，其特征在于，步骤1中，确定单词与区块归属信息样本，包括：基于所述标注图片通过手动框选方式创建单词识别区域；对所述单词识别区域内的单词通过内置的预训练模型自动进行单词真值设置，得到识别结果；基于所述单词区域及所述识别结果绘制第一框进行归属，得到所述单词与区块归属关系；其中，所述识别结果及所述单词与区块归属关系即为所述信息样本。4.根据权利要求1所述的一种用于轮胎胎侧字符的识别方法，其特征在于，步骤2中，基于所述信息样本对神经网络模型进行训练，获取得到文字检测器，包括：确定每个信息样本标注文字区域的映射非线性关系；基于所述映射非线性关系，获取对应标注文字区域的原始概率图像；对所述概率图像进行平滑处理，得到平滑后的概率图像；根据所述原始概率图像与平滑后的概率图像，得到差图像，并按照动态阈值分割方式，对所述差图像进行分割，其中：；；其中，f(x,y)为对应的原始概率图像，g(x,y)为对应平滑后的概率图像，B(x,y)为分割后的差图像，T为对f(x,y)与g(x,y)的差图像进行分割时设定的阈值；若分割后的差图像大于或等于阈值T，则将所述差图像视为图像前景；否则，将所述差图像则为图像背景；
对所述前景图像进行形态学操作，去除噪声点造成的影响，得到去噪后的前景图像；对去噪后的前景图像进行连通域检测，获得连通域的轮廓及轮廓中心，对所述轮廓中心进行选择，将距离小于设定阈值的轮廓中心归为一类，且结合同类轮廓中心对应的连通域，得到文字区域；基于所述信息样本获取所述概率图的文字区域的过程，训练得到文字检测器。5.根据权利要求1所述的一种用于轮胎胎侧字符的识别方法，其特征在于，所述第一预设策略包括：第一定位方式以及第二定位方式；其中，文字检测器作为第一定位方式；灰度定位方式与形状匹配方式作为第二定位方式；且第一定位方式定位时间优于第二定位方式的定位时间。6.根据权利要求1所述的一种用于轮胎胎侧字符的识别方法，其特征在于，步骤3中，基于第一预设策略对待检测轮胎的轮胎图像进行定位查找，生成仿射变换矩阵，包括：对待检测轮胎进行图像采集，得到待检测轮胎的轮胎图像；从模型数据库中读取预设网络模型，并基于所述预设网络模型对所述轮胎图像进行标注信息的读取，生成轮胎一周图；在所述轮胎一周图上查找拼接定位，生成拼接起点图；在所述拼接起点图上采用第一定位方式进行主定位查找；若查找成功，则基于所述拼接起点图生成仿射变换矩阵；否则，采用第二定位方式重新进行增强定位查找；若查找成功，基于所述拼接起点图...

【专利技术属性】
技术研发人员：杨牧，赵亮，李建福，张董，陈建文，
申请(专利权)人：钛玛科北京工业科技有限公司，
类型：发明
国别省市：