【技术实现步骤摘要】
本申请涉及图像识别，具体涉及一种钢印字符的识别方法、装置、移动设备、存储介质及处理器。
技术介绍
1、在大型工程机械的生产制造过程中，需要在产品及其金属部件的表面刻印钢印字符，通过一物一码的方式实现对产品的数量统计、整车装配、质量监督和追踪管理。钢印字符通常由现场操作人员采用钢印打标设备刻印在金属物体表面，一旦操作人员发生疏忽导致刻印的字符出现错误，将会严重影响到产品的运输和交付，造成经济损失。目前，钢印字符识别主要通过人工检查的方式，由企业派质检人员读写钢印标号，再对照计划下达的钢印任务表以及检查记录，检查钢印生产标号是否有刻印错误或重复刻印的情况。但是人工读取钢印字符的方式存在步骤繁琐、效率低下和主观性强的缺点。在面向大规模的工业生产背景时，员工会由于高强度工作，产生视觉疲劳从而出现识别错误。后期发现后返工成本将大幅度提升，若产品流出，还会造成大量的经济损失，无法满足智能化、高效化生产管控的要求。
技术实现思路
1、本申请实施例的目的是提供一种钢印字符的识别方法、装置、移动设备、存储介质及处理器。
2、为了实现上述目的，本申请第一方面提供一种钢印字符的识别方法，识别方法包括：
3、获取待识别的钢印字符图像；
4、将钢印字符图像输入至图像字符定位模型，通过图像字符定位模型的角度预测分支确定针对钢印字符图像中的钢印字符的检测框的旋转角度，基于旋转角度裁剪出钢印字符图像中包含有钢印字符的区域图像；
5、获取图像字符定位模型输出的区域图像
6、将目标区域图像输入至文字识别模块，以通过文字识别模块输出目标区域图像中的钢印字符的字符信息。
7、在本申请的实施例中，将钢印字符图像输入至图像字符定位模型，通过图像字符定位模型的角度预测分支确定针对钢印字符图像中的钢印字符的检测框的旋转角度包括：将钢印字符图像输入至图像字符定位模型，通过图像字符定位模型的区域候选网络提取与钢印字符图像对应的多个第一候选框；通过图像字符定位模型的分类分支预测每个第一候选框为前景的第一预测概率，其中，前景是指包含有钢印字符；根据第一预测概率大于预设阈值的第一候选框确定钢印字符图像中的钢印字符的检测框；通过图像字符定位模型的角度预测分支确定检测框的旋转角度。
8、在本申请的实施例中，识别方法还包括图像字符定位模型的训练步骤，训练步骤包括：获取带有钢印字符的多个样本图像，并标记出每个样本图像中钢印字符所在的字符区域；针对每个样本图像，提取多个第二候选框；针对每个样本图像，通过图像字符定位模型的分类分支预测每个第二候选框为前景或后景的第二预测概率，其中，前景是指包含有钢印字符，后景是指未包含有钢印字符；针对每个样本图像，根据每个字符区域的位置信息和角度信息，以及全部第二预测概率确定样本图像的预测回归框和预测回归角度；根据全部样本图像的位置信息、角度信息、第二预测概率、预测回归框、预测回归角度确定损失函数；基于损失函数对图像字符定位模型进行迭代训练，以得到训练完毕的图像字符定位模型。
9、在本申请的实施例中，识别方法包括：确定每个样本图像中钢印字符所在的字符区域的长宽比；根据全部字符区域的长宽比确定第二候选框的长宽比。
10、在本申请的实施例中，损失函数的表达式如公式(1)所示：
11、loss＝αlsmoothl1(θ，θ′)+tβlsmoothl1(pr，t)+λt∑i∈(x，y，w，h)lciou(vi，vi′)+ηlossrpn(1)
12、其中，loss是指损失函数的函数值，θ是指检测框的角度信息，θ′是指预测回归框的角度信息，vi是指检测框的位置信息(x，y，w，h)，vi′是指预测回归框的位置信息(x′，y′，w′，h′)，t∈{1，0}，t＝1时表示前景，t＝0时表示背景，pr是指预测回归框为前景或后景的预测概率，α、λ、η为权重参数。
13、在本申请的实施例中，获取带有钢印字符的多个样本图像包括：获取带有钢印字符的多个原始图像，每个原始图像中标注包围钢印字符的包围框；针对每个原始图像，对包围框进行扰动处理，以得到与原始图像对应的多个处理图像；获取全部原始图像和全部处理图像以作为样本图像。
14、在本申请的实施例中，文字识别模块包括特征提取层和transformer模型，transformer模型包括编码器和解码器，将目标区域图像输入至文字识别模块，以通过文字识别模块输出目标区域图像中的钢印字符的字符信息包括：通过特征提取层提取与目标区域图像的多个图像特征；通过transformer模型的编码器对多个图像特征进行特征融合后，得到与多个图像特征对应的特征结果向量，特征结果向量包括目标区域图像中的文本信息；通过transformer模型的解码器对特征结果向量进行解码，以计算目标区域图像中的钢印字符的概率向量，以基于概率向量输出字符信息。
15、在本申请的实施例中，识别方法还包括：在输出字符信息后，根据字符信息确定任务工单内是否存在与钢印字符相同的目标钢印字符信息，其中，任务工单是指车间计划刻印的钢印任务清单；在未存在目标钢印字符的情况下，发出对应的提示信息。
16、本申请第二方面提供一种处理器，被配置成执行上述钢印字符的识别方法。
17、本申请第三方面提供一种钢印字符的识别装置，包括上述被配置成执行上述钢印字符的识别方法的处理器。
18、本申请第四方面一种移动设备，包括：
19、图像采集装置，用于采集钢印字符图像；以及钢印字符的识别装置。
20、在本申请的实施例中，移动设备还包括：光源，用于为图像采集装置提供的光照均匀的采集环境。
21、本申请第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的钢印字符的识别方法。
22、通过上述技术方案，通过获取待识别的钢印字符图像；将钢印字符图像输入至图像字符定位模型，通过图像字符定位模型的角度预测分支确定针对钢印字符图像中的钢印字符的检测框的旋转角度，基于旋转角度裁剪出钢印字符图像中包含有钢印字符的区域图像；获取图像字符定位模型输出的区域图像，以作为目标区域图像；将目标区域图像输入至文字识别模块，以通过文字识别模块输出目标区域图像中的钢印字符的字符信息。通过智能化的视觉手段，自动高精度且快速地识别金属物体表面刻印的钢印字符，可以大幅度降低人工成本和时间成本，提高对产品的管理效率，实现生产过程的优化控制。
23、本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种钢印字符的识别方法，其特征在于，所述识别方法包括：
2.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述将所述钢印字符图像输入至图像字符定位模型，通过所述图像字符定位模型的角度预测分支确定针对所述钢印字符图像中的钢印字符的检测框的旋转角度包括：
3.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述识别方法还包括所述图像字符定位模型的训练步骤，所述训练步骤包括：
4.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述识别方法包括：
5.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述损失函数的表达式如公式(1)所示：
6.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述获取带有钢印字符的多个样本图像包括：
7.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述文字识别模块包括特征提取层和Transformer模型，Transformer模型包括编码器和解码器，所述将所述目标区域图像输入至文字识别模块，以通过所述文字识别模块输出所述目标区域图像中的钢印字符的字符
8.根据权利要求1所述的钢印字符的识别方法，其特征在于，识别方法还包括：
9.一种处理器，其特征在于，被配置成执行根据权利要求1至8中任意一项所述的钢印字符的识别方法。
10.一种钢印字符的识别装置，其特征在于，包括如权利要求9所述的处理器。
11.一种移动设备，其特征在于，包括：
12.根据权利要求11所述的移动设备，其特征在于，还包括：
13.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至8中任一项所述的钢印字符的识别方法。
...【技术特征摘要】
1.一种钢印字符的识别方法，其特征在于，所述识别方法包括：
2.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述将所述钢印字符图像输入至图像字符定位模型，通过所述图像字符定位模型的角度预测分支确定针对所述钢印字符图像中的钢印字符的检测框的旋转角度包括：
3.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述识别方法还包括所述图像字符定位模型的训练步骤，所述训练步骤包括：
4.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述识别方法包括：
5.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述损失函数的表达式如公式(1)所示：
6.根据权利要求3所述的钢印字符的识别方法，其特征在于，所述获取带有钢印字符的多个样本图像包括：
7.根据权利要求1所述的钢印字符的识别方法，其特征在于，所述文字识别...
【专利技术属性】
技术研发人员：吴刘宸，刘红玉，石恒，虢彦，魏圣杰，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。