一种标签识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种标签识别方法、装置、电子设备及存储介质。该方法包括：获取物品的贴标图像，并对贴标图像进行预处理，得到待识别图像；利用标签预测网络预测待识别图像中的标签，得到待识别图像中的多个预测标签及多个预测标签中每个预测标签的置信度；利用标签确定模型基于多个预测标签及每个预测标签的置信度确定物品的目标标签。即，本发明专利技术实施例，通过对贴标图像进行预处理改善贴标图像质量，进而提高标签识别的准确度，并通过标签预测网络对待识别图像进行标签识别，得到多个预测标签，再结合标签确定模型对多个预测标签进行筛选或确定得到目标标签，提升识别的效率和准确率，可以在无人员参与的情况，避免环境对识别效果的影响。效果的影响。效果的影响。

【技术实现步骤摘要】
一种标签识别方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机技术，尤其涉及一种标签识别方法、装置、电子设备及存储介质。

技术介绍

[0002]工厂的产线中的质检环节，一般由质检员完成，以防止不良产品流入市场，质检环节涉及到附件贴标型号确认、产品部件装配质量确认、产品表面划痕缺陷检测等流程，至需要多名质检人员配合完成。工厂产线上大多采用混产的方式，一些产品仅是内部零部件型号不同，从使外观尺寸区别不是很大，导致产品型号、贴标种类繁多，且诸如能耗帖、产品铭牌、警示贴、耗电量等，字体小、编号长，质检人员核对耗时，不同产品的不同贴标极易混淆，漏检、误检的情况也时有发生，追溯也比较困难。针对上述问题现有技术大多采用光学字符识别(Optical Character Recognition，OCR)方法来替代人工进行自动识别贴标图像中的文字内容，可以有效提高检测效率和准确率，由于传统OCR识别方法获取到的图像预处理步骤较多，易产生误差从而降低识别率，同时多个环节需要人工参与，那以实现自动化的训练，而且识别灵活性较差，对复杂样本识别率较低。

技术实现思路

[0003]本专利技术提供一种标签识别方法、装置、电子设备及存储介质，以实现在无人员参与的情况自动识别标签中的内容。
[0004]第一方面，本专利技术实施例提供了获取物品的贴标图像，并对所述贴标图像进行预处理，得到待识别图像；
[0005]利用标签预测网络预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度；
[0006]利用标签确定模型基于所述多个预测标签及所述每个预测标签的置信度确定所述物品的目标标签。
[0007]进一步的，所述标签预测网络包括卷积网络和长短记忆网络，所述利用标签预测网络预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度，包括：
[0008]利用所述卷积网络提取所述待识别图像中检测区域的特征向量；
[0009]利用所述长短记忆网络根据所述特征向量的语义关系提取所述特征向量的文字特征，并根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度。
[0010]进一步的，所述卷积网络包括卷积层和反卷积层，所述利用所述卷积网络提取所述待识别图像中检测区域的特征向量，包括：
[0011]将所述待识别图像输入卷积层提取所述待识别图像中图像特征，并使用所述反卷积层对所述卷积层进行上采样，得到卷积图像，所述卷积图像与所述待识别图像的像素间
存在关联；
[0012]对所述卷积图像进行像素分类，得到所述待识别图像的二维热力图，并根据所述二维热力图对所述待识别图像进行图像分割，得到所述检测区域的特征向量。
[0013]进一步的，所述利用所述长短记忆网络根据所述特征向量的语义关系提取所述特征向量的文字特征，并根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度，包括：
[0014]将所述检测区域的特征向量输入所述长短记忆网络，得到所述特征向量的语义关系，并提取所述语义关系的文字特征；
[0015]根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度。
[0016]进一步的，利用标签确定模型基于所述多个预测标签及所述每个预测标签的置信度确定所述物品的目标标签之后，还包括：
[0017]从所述物品的目标标签中提取属性信息，并将所述属性信息和所述贴标图像关联存储至信息数据库中，以使得根据所述贴标图像查询所述物品的属性信息。
[0018]进一步的，所述标签确定模型按照如下方式获取：
[0019]获取训练样本，其中，所述训练样本包含多张识别图像，所述每张识别图像中包含多个预测标签及所述多个预测标签中每个预测标签的置信度；
[0020]利用时序类分类模型对所述训练样本中的每张识别图像中多个预测标签及所述多个预测标签中每个预测标签的置信度进行筛选，得到所述每张识别图像对应的目标标签；
[0021]根据所述每张识别图像对应的目标标签和所述每张识别图像对应的实际标签计算损失函数；
[0022]根据所述损失函数进行反向传播以优化所述时序类分类模型，得到所述标签确定模型。
[0023]进一步的，利用标签预测网络预测所述待识别图像中的标签之后，还包括：
[0024]将所述待识别图像输入至所述标签预测网络，得到所述待识别图像的识别错误信息，并根据所述识别错误信息进行故障预警。
[0025]第二方面，本专利技术实施例还提供了一种标签识别装置，该装置包括：
[0026]图像获取模块，用获取物品的贴标图像，并对所述贴标图像进行预处理，得到待识别图像；
[0027]网络预测模块，用于利用标签预测网络预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度；
[0028]标签确定模块，用于利用标签确定模型基于所述多个预测标签及所述每个预测标签的置信度确定所述物品的目标标签。
[0029]第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括：
[0030]一个或多个处理器；
[0031]存储装置，用于存储一个或多个程序，
[0032]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的标签识别方法。
[0033]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的标签识别方法。
[0034]本专利技术实施例中，通过获取物品的贴标图像，并对贴标图像进行预处理，得到待识别图像；利用标签预测网络预测待识别图像中的标签，得到待识别图像中的多个预测标签及多个预测标签中每个预测标签的置信度；利用标签确定模型基于多个预测标签及每个预测标签的置信度确定物品的目标标签。即，本专利技术实施例，通过对贴标图像进行预处理改善贴标图像质量，进而提高标签识别的准确度，并通过标签预测网络对待识别图像进行标签识别，得到多个预测标签，再结合标签确定模型对多个预测标签进行筛选或确定得到目标标签，提升识别的效率和准确率，可以在无人员参与的情况，避免环境对识别效果的影响。
附图说明
[0035]图1是本专利技术实施例提供的标签识别方法的一个流程示意图；
[0036]图2是本专利技术实施例提供的标签识别方法的另一流程示意图；
[0037]图3是本专利技术实施例提供的标签识别装置的一个结构示意图；
[0038]图4是本专利技术实施例提供的电子设备的一个结构示意图。
具体实施方式
[0039]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标签识别方法，其特征在于，包括：获取物品的贴标图像，并对所述贴标图像进行预处理，得到待识别图像；利用标签预测网络预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度；利用标签确定模型基于所述多个预测标签及所述每个预测标签的置信度确定所述物品的目标标签。2.根据权利要求1所述的方法，其特征在于，所述标签预测网络包括卷积网络和长短记忆网络，所述利用标签预测网络预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度，包括：利用所述卷积网络提取所述待识别图像中检测区域的特征向量；利用所述长短记忆网络根据所述特征向量的语义关系提取所述特征向量的文字特征，并根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度。3.根据权利要求2所述的方法，其特征在于，所述卷积网络包括卷积层和反卷积层，所述利用所述卷积网络提取所述待识别图像中检测区域的特征向量，包括：将所述待识别图像输入卷积层提取所述待识别图像中图像特征，并使用所述反卷积层对所述卷积层进行上采样，得到卷积图像，所述卷积图像与所述待识别图像的像素间存在关联；对所述卷积图像进行像素分类，得到所述待识别图像的二维热力图，并根据所述二维热力图对所述待识别图像进行图像分割，得到所述检测区域的特征向量。4.根据权利要求2所述的方法，其特征在于，所述利用所述长短记忆网络根据所述特征向量的语义关系提取所述特征向量的文字特征，并根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度，包括：将所述检测区域的特征向量输入所述长短记忆网络，得到所述特征向量的语义关系，并提取所述语义关系的文字特征；根据所述文字特征预测所述待识别图像中的标签，得到所述待识别图像中的多个预测标签及所述多个预测标签中每个预测标签的置信度。5.根据权利要求1所述的方法，其特征在于，利用标...

【专利技术属性】
技术研发人员：周靖超，贾淇超，刘浩，周邦国，滕辉，李志远，
申请(专利权)人：海尔卡奥斯物联生态科技有限公司海尔数字科技青岛有限公司，
类型：发明
国别省市：