一种基于特征识别机制的工业文字图像修补方法技术

本发明专利技术属于工业生产过程中文本识别与图像修复领域，公开一种基于特征识别机制的工业文字图像修补方法。本发明专利技术所提出的方法解决了钢板生产过程中板坯号识别系统受缺损图像影响导致的数据浪费问题。通过本发明专利技术所提出的基于特征识别机制的图像修补方法，板坯号识别系统得以获得高质量的训练和推理数据，从而大幅提高了板坯号识别准确率。受益于识别板坯号识别准确率的提升，钢铁生产企业得以实现准确的钢材物料跟踪。钢材物料跟踪。钢材物料跟踪。

【技术实现步骤摘要】
一种基于特征识别机制的工业文字图像修补方法


[0001]本专利技术涉及工业生产过程中文本识别与图像修复领域，尤其涉及一种基于特征识别机制的工业文字图像修补方法。

技术介绍

[0002]在钢材生产中，板坯号是整个生产过程跟踪的唯一标识符。钢板ID或板坯号识别是钢材智能跟踪的基础，大型钢铁企业的信息化物资跟踪依赖于板坯号识别系统。在类似的文本识别任务中，研究人员研发了许多成熟的方法，可以分为基于字符特征的传统方法和基于卷积神经网络的识别方法。后者应用效果较好，但依赖大量优质数据。
[0003]然而，受喷印设备印刷性能限制和生产环境的干扰，字符识别任务的图像数据容易遭到损坏，导致大量数据浪费，难以得到足够的优质数据。例如，镜面反射光在钢板表面会导致文字被遮盖，当文字内容被覆盖时，板号识别效果不佳。
[0004]到目前为止，在工业生产中，特别是在钢铁生产行业中，还没有对文本图像修补的研究。导致当前生产环境下缺损的图像数据大幅降低了输入板坯号识别系统的图像质量，增加了识别的难度，导致板坯号识别准确率降低，难以实现钢材的精准跟踪。

技术实现思路

[0005]基于此，有必要针对上述问题提出一种基于特征识别机制的工业文字图像修补方法，能够对缺损文字图像进行修复，为板坯号识别系统提供优质数据。
[0006]本专利技术的技术方案如下：一种基于特征识别机制的工业文字图像修补方法，包括如下步骤：
[0007]步骤1、从板坯号识别系统中获取工业文字图像数据，制备缺损训练数据集和缺损测试数据集；工业文字图像数据文本区域的内容信息和位置信息加入至数据标签；
[0008]步骤2、对缺损训练数据集中待修补图像进行缺损区域定位；获取待修补图像中缺损区域并通过计算生成差值矩阵；
[0009]步骤3、通过步骤2所得差值矩阵进行一次特征识别，缩小缺损区域范围并填充特征值V
i
；重复步骤2、3得到特征图组F；
[0010]步骤4、对特征图组F进行融合操作得到特征图F
m
，通过双层全连接卷积层将F
m
映射为特征向量序列
[0011]步骤5、基于双向长短期记忆网络对步骤4所得特征向量序列重新排序得到新序列，通过注意力机制对新序列进行解码得到每个序列元素的权重α和特征值V
h
；
[0012]步骤6、通过权重α对步骤5所得特征值V
h
进行二次特征识别，输出文本内容，并与步骤1所述的数据标签中文本区域内容信息和位置信息进行比对；依据对比结果得到经过2次特征识别后的重构图像，或通过n次迭代步骤2至步骤6后，经过2n次特征识别后得到的重构图像；所述重构图像为最终修补后的工业文字图像。
[0013]所述步骤1具体为：
[0014]从板坯号识别系统中获取工业文字图像数据，收集其中OCR系统无法识别的缺损文字图像，同时输入二进制像素掩码对完好文字图像进行叠加；所述文本区域为与目标修复区域不同区域。OCR系统无法识别的缺损文字图像为因光照过强、局部遮挡等造成的板坯号识别系统无法识别的缺损文字图像，记缺损文字图像为I
da
∈R，完好文字图像为I
gt
∈R，二进制像素掩码为M∈{0，1}，叠加图像为I
in
∈R，其中I
in
＝I
gt
⊙
M。将I
in
与I
da
进行随机融合，得到缺损训练数据集和缺损测试数据集。
[0015]所述步骤2具体为：
[0016]通过g层局部卷积层遍历数据集中的待修补图像，获取其中的缺损区域信息，包括异常像素区域形状、大小、位置和距离待修补图像边界的孔；将第i层局部卷积层中异常像素位置(x,y)的特征值与第m个卷积核进行逐像素相乘，得到更新的掩码值，表示为：
[0017][0018]定义更新的掩码和输入掩码之间的差值矩阵为缺损图像中需要推断的缺损区域；最后经过1层全连接网络层和激活函数处理，处理后的差值矩阵用于一次特征识别。
[0019]所述步骤3具体为：
[0020]对差值矩阵区域进行第一次特征识别；将差值矩阵输入至知识一致性注意力模块，计算出步骤2中更新的掩码区域的特征值V
i
＝{v
i
|i＝1,2,3,
…
,d}；然后，重复步骤2、步骤3，将知识一致性注意力模块计算所得的特征值v
i
在差值矩阵中进行填充，池化后得到特征图f
pool
，直到步骤2不再检测出图中缺损区域，将循环所得特征图组记为
[0021]所述步骤4具体为：
[0022]将特征图组F进行融合操作得到特征图F
m
，通过双层全连接卷积层将F
m
映射为特征向量序列，记为其中，每个特征向量在原特征图F
m
位置上从左到右横向排列。
[0023]所述步骤5具体为：
[0024]使用双向长短期记忆网络模块对计算，得到新序列H＝{h
h
|h＝1,2,3,...,j}和H的内部关联度R＝{r
h
|h＝1,2,3,...,j}；
[0025]计算过程表示为：r
h
＝BLSTM(r
h
‑1,g
h
,h
h
)；其中，通过对新序列H中每个元素通过注意力函数打分，再归一化得到对准因子α
h
；G＝{g
h
＝α
h
*h
h
|h＝1,2,3,...,j}为新序列H的加权和；
[0026]得到新序列H和新序列H的内部关联度后，利用注意力函数对新序列H进行二次解码得到每个序列元素h的特征值V
h
。
[0027]所述步骤6具体为：
[0028]按照权重α将步骤5所得特征值V
h
输出为文本内容，并与步骤1所述的数据标签中文本区域内容信息和文本信息进行比对，当两者相等，则取特征图组F的低层高分辨率特征和高层语义特征进行自适应融合得到重构图像，其中自适应融合使用FPN算法；当两者不
等，则对步骤2至步骤6进行n次迭代后得到重构图像；迭代至损失函数L
total
低于所设阈值，其中迭代所需的损失函数L
total
表示如下：
[0029]L
total
＝λ
style
L
style
+λ
perceptual
L
perceptual
+λ
predicted
L
predicted
ꢀꢀꢀꢀ
(2)
[0030]其中，λ是可学习参数，风格损失L
style
、感知损失L
perceptual
...

【技术保护点】

【技术特征摘要】
1.一种基于特征识别机制的工业文字图像修补方法，其特征在于，包括如下步骤：步骤1、从板坯号识别系统中获取工业文字图像数据，制备缺损训练数据集和缺损测试数据集；工业文字图像数据文本区域的内容信息和位置信息加入至数据标签；步骤2、对缺损训练数据集中待修补图像进行缺损区域定位；获取待修补图像中缺损区域并通过计算生成差值矩阵；步骤3、通过步骤2所得差值矩阵进行一次特征识别，缩小缺损区域范围并填充特征值V
i
；重复步骤2、3得到特征图组F；步骤4、对特征图组F进行融合操作得到特征图F
m
，通过双层全连接卷积层将F
m
映射为特征向量序列步骤5、基于双向长短期记忆网络对步骤4所得特征向量序列重新排序得到新序列，通过注意力机制对新序列进行解码得到每个序列元素的权重α和特征值V
h
；步骤6、通过权重α对步骤5所得特征值V
h
进行二次特征识别，输出文本内容，并与步骤1所述的数据标签中文本区域内容信息和位置信息进行比对；依据对比结果得到经过2次特征识别后的重构图像，或通过n次迭代步骤2至步骤6后，经过2n次特征识别后得到的重构图像；所述重构图像为最终修补后的工业文字图像。2.根据权利要求1所述的基于特征识别的工业文字图像修补方法，其特征在于，所述步骤1具体为：从板坯号识别系统中获取工业文字图像数据，收集其中OCR系统无法识别的缺损文字图像，同时输入二进制像素掩码对完好文字图像进行叠加；所述文本区域为与目标修复区域不同区域。3.根据权利要求2所述的基于特征识别的工业文字图像修补方法，其特征在于，所述步骤2具体为：通过g层局部卷积层遍历数据集中的待修补图像，获取其中的缺损区域信息，包括异常像素区域形状、大小、位置和距离待修补图像边界的孔；将第i层局部卷积层中异常像素位置(x,y)的特征值与第m个卷积核进行逐像素相乘，得到更新的掩码值，表示为：定义更新的掩码和输入掩码之间的差值矩阵为缺损图像中需要推断的缺损区域；最后经过1层全连接网络层和激活函数处理，处理后的差值矩阵用于一次特征识别。4.根据权利要求3所述的基于特征识别的工业文字图像修补方法，其特征在于，所述步骤3具体为：对差值矩阵区域进行第一次特征识别；将差值矩阵输入至知识一致性注意力模块，计算出步骤2中更新的掩码区域的特征值V
i
＝{v
i
|i＝1,2,3,
…
,d}；然后，重复步骤2、步骤3，将知识一致性注意力模块计算所得的特征值v
i
在差值矩阵中进行填充，池化后得到特征图f
pool
，直到步骤2不再检测出图中缺损区域，将循环所得特征图组记为5.根据权利要求4所述的基于特征识别的工业文...

【专利技术属性】
技术研发人员：王雪飞，王昭东，张田，
申请(专利权)人：沈阳建筑大学，
类型：发明
国别省市：