一种商品价格识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种商品价格识别方法、装置、设备及存储介质，涉及图像识别领域。该方法包括：按照卷积神经网络、编码器、解码器、匹配模型、字符识别模块的顺序构建商品价格识别模型；将商品图像输入至商品价格识别模型，利用卷积神经网络提取得到商品图像对应的图像特征；将图像特征作为编码器的输入得到对应的编码特征，并将编码特征作为解码器的输入，得到多个商品检测框及多个价格检测框；利用匹配模型筛选出目标商品检测框及目标价格检测框，并确定出目标商品检测框与目标价格检测框的对应关系；利用字符识别模块识别目标价格检测框内的价格内容，并结合对应关系确定出每个目标商品框内商品的价格。能够提高商品价格识别的准确性。准确性。准确性。

【技术实现步骤摘要】
一种商品价格识别方法、装置、设备及存储介质


[0001]本专利技术涉及图像识别领域，特别涉及一种商品价格识别方法、装置、设备及存储介质。

技术介绍

[0002]商品价格识别是指给定一张包含商品和商品价格的商品图，同时检测架子上的所有商品以及价格标签内的价格，将商品和价格进行匹配，最后输出该图片中的所有商品位置并且输出所有商品对应的价格，如图1所示。传统方案通常用的目标检测模型是FasterRCNN（Faster Region
‑
CNN, 快速区域卷积神经网络），该目标检测模型需要依次完成商品定位及价格标签定位等功能，且该算法模型依赖于密集先验，覆盖整幅图可能出现物体的部分，预测该区域的实例类别，该类型算法就需要更多的先验，包括目标检测预定义锚点（anchor）预定义、非极大值抑制（nms）阈值设置，同时传统算法对于价格标签和商品的匹配是离线计算的，同样也需要很强的先验。另外，传统算法步骤繁琐，不能做到端到端的训练，步骤间的依赖性强，会导致误差偏大。因此，如何提高商品定价识别的准确性和效率是目前亟需解决的问题。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种商品价格识别方法、装置、设备及介质，能够提高商品价格识别的准确性。其具体方案如下：第一方面，本申请公开了一种商品价格识别方法，包括：按照卷积神经网络、transformer编码器、transformer解码器、用于二分图最大匹配的匹配模型、字符识别模块的顺序构建商品价格识别模型；获取包含商品以及商品对应的价格标签的商品图像，并将所述商品图像输入至所述商品价格识别模型，以利用所述卷积神经网络提取得到所述商品图像对应的图像特征；将所述图像特征作为所述transformer编码器的输入得到对应的编码特征，并将所述编码特征作为所述transformer解码器的输入，得到多个商品检测框以及多个价格检测框；利用所述匹配模型从所有所述商品检测框中筛选出目标商品检测框，以及从所有所述价格检测框中筛选出目标价格检测框，并确定出所述目标商品检测框与所述目标价格检测框的对应关系；利用所述字符识别模块识别所述目标价格检测框内的价格内容，并结合所述对应关系确定出每个所述目标商品框内商品的价格。
[0004]可选的，所述匹配模型的构建和训练过程，包括：基于匈牙利匹配算法构建用于二分图最大匹配的匹配模型；针对商品及价格标签的位置检测对所述匹配模型进行第一阶段训练，得到以商品检测框和价格检测框为输入，以目标价格检测框和目标商品检测框为输出的初始模型；
针对商品及价格标签之间位置关系的检测对所述匹配模型进行第二阶段训练，得到以目标价格检测框和目标商品检测框为输入，以目标商品检测框与目标价格检测框之间的对应关系为输出的训练后匹配模型。
[0005]可选的，所述对所述匹配模型进行第一阶段训练，包括：获取历史商品图像，并获取所述历史商品图像内商品对应的商品标注框，以及价格标签对应的价格标注框；利用所述卷积神经网络、所述transformer编码器和所述transformer解码器，获取所述历史商品图像对应的历史商品检测框和历史价格检测框；基于所述商品标注框、所述价格标注框、所述历史商品检测框和所述历史价格检测框得到第一训练集，利用所述第一训练集对所述匹配模型进行第一阶段训练，以得到第一阶段训练后的所述初始模型。
[0006]可选的，所述匹配模型的模型函数为：；其中，表示标注框，表示预测框， 表征基于匈牙利匹配算法进行预测框及标注框的匹配。
[0007]可选的，所述利用所述第一训练集对所述匹配模型进行第一阶段训练，以得到第一阶段训练后的所述初始模型，包括：基于所述商品标注框和所述历史商品检测框之间的重叠率，以及所述价格标注框和所述历史价格检测框之间的重叠率构建损失函数；利用所述损失函数对所述匹配模型的第一阶段训练过程进行约束，以得到第一阶段训练后的所述初始模型。
[0008]可选的，所述损失函数为：；其中，表示标注框，表示目标检测框，为目标检测框损失；；其中，表示目标检测框与标注框的交叠率， 表示SmoothL1损失，和表示损失函数超参数。
[0009]可选的，所述对所述匹配模型进行第二阶段训练，包括：获取历史商品图像内每个商品标注框与对应的价格标注框之间的框位置关系；基于目标历史商品检测框、目标历史价格检测框和所述框位置关系得到第二训练集；利用所述第二训练集对所述初始模型进行第二阶段训练，以得到训练后的所述匹配模型。
[0010]可选的，所述利用所述字符识别模块识别所述目标价格检测框内的价格内容，包括：利用光学字符识别模型对所述目标价格检测框进行字符识别，以得到所述目标价格检测框内的价格内容。
[0011]可选的，所述将所述编码特征作为所述transformer解码器的输入，得到多个商品检测框以及多个价格检测框，包括：将商品查询参数和商品标签查询参数以及所述编码特征作为所述transformer解码器的输入；根据所述transformer解码器的输出结果，得到与所述商品查询参数对应的数量的商品检测框，以及与所述商品标签查询参数对应的数量的价格检测框。
[0012]可选的，所述按照卷积神经网络、transformer编码器、transformer解码器、用于二分图最大匹配的匹配模型、字符识别模块的顺序构建商品价格识别模型之前，还包括：获取深度残差网络，并根据所述深度残差网络的阶段数量构建上采样网络；所述上采样网络包含与所述阶段数量相同数量的特征图上采样模块；对所述深度残差网络的每个阶段，添加通道级别的注意力机制模块连接至对应阶段的所述特征图上采样模块，以构建得到所述卷积神经网络。
[0013]可选的，所述特征图上采样模块的构建过程，包括：基于自注意力机制模块和轻量级上采样算子，构建得到所述特征图上采样模块。
[0014]可选的，所述注意力机制模块的构建过程，包括：按照残差层、最大池化层和平均池化层、融合层、全连接层、分类层、以所述残差层和所述分类层为输入的乘法层、输出层的顺序构建得到所述通道级别的注意力机制模块。
[0015]第二方面，本申请公开了一种商品价格识别装置，包括：模型构建模块，用于按照卷积神经网络、transformer编码器、transformer解码器、用于二分图最大匹配的匹配模型、字符识别模块的顺序构建商品价格识别模型；图像特征识别模块，用于获取包含商品以及商品标签的商品图像，并将所述商品图像输入至所述商品价格识别模型，以利用所述卷积神经网络提取得到所述商品图像对应的图像特征；候选检测框确定模块，用于将所述图像特征作为所述transformer编码器的输入得到对应的编码特征，并将商品查询参数和商品标签查询参数以及所述编码特征作为所述transformer解码器的输入，得到与所述商品查询参数对应的数量的候选商品检测框，以及与所述商品标签查询参数对应的数量的候选价格检测框；目标检测框确定模块，用于利用所述匹配模型从所有所述候选商品检测框中筛选出目标商品框，以及从所有所述候选价格检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品价格识别方法，其特征在于，包括：按照卷积神经网络、transformer编码器、transformer解码器、用于二分图最大匹配的匹配模型、字符识别模块的顺序构建商品价格识别模型；获取包含商品以及商品对应的价格标签的商品图像，并将所述商品图像输入至所述商品价格识别模型，以利用所述卷积神经网络提取得到所述商品图像对应的图像特征；将所述图像特征作为所述transformer编码器的输入得到对应的编码特征，并将所述编码特征作为所述transformer解码器的输入，得到多个商品检测框以及多个价格检测框；利用所述匹配模型从所有所述商品检测框中筛选出目标商品检测框，以及从所有所述价格检测框中筛选出目标价格检测框，并确定出所述目标商品检测框与所述目标价格检测框的对应关系；利用所述字符识别模块识别所述目标价格检测框内的价格内容，并结合所述对应关系确定出每个所述目标商品框内商品的价格。2.根据权利要求1所述的商品价格识别方法，其特征在于，所述匹配模型的构建和训练过程，包括：基于匈牙利匹配算法构建用于二分图最大匹配的匹配模型；针对商品及价格标签的位置检测对所述匹配模型进行第一阶段训练，得到以商品检测框和价格检测框为输入，以目标价格检测框和目标商品检测框为输出的初始模型；针对商品及价格标签之间位置关系的检测对所述匹配模型进行第二阶段训练，得到以目标价格检测框和目标商品检测框为输入，以目标商品检测框与目标价格检测框之间的对应关系为输出的训练后匹配模型。3.根据权利要求2所述的商品价格识别方法，其特征在于，所述对所述匹配模型进行第一阶段训练，包括：获取历史商品图像，并获取所述历史商品图像内商品对应的商品标注框，以及价格标签对应的价格标注框；利用所述卷积神经网络、所述transformer编码器和所述transformer解码器，获取所述历史商品图像对应的历史商品检测框和历史价格检测框；基于所述商品标注框、所述价格标注框、所述历史商品检测框和所述历史价格检测框得到第一训练集，利用所述第一训练集对所述匹配模型进行第一阶段训练，以得到第一阶段训练后的所述初始模型。4.根据权利要求2所述的商品价格识别方法，其特征在于，所述匹配模型的模型函数为：；其中，表示标注框，表示预测框，表征基于匈牙利匹配算法进行预测框及标注框的匹配。5.根据权利要求3所述的商品价格识别方法，其特征在于，所述利用所述第一训练集对所述匹配模型进行第一阶段训练，以得到第一阶段训练后的所述初始模型，包括：
基于所述商品标注框和所述历史商品检测框之间的重叠率，以及所述价格标注框和所述历史价格检测框之间的重叠率构建损失函数；利用所述损失函数对所述匹配模型的第一阶段训练过程进行约束，以得到第一阶段训练后的所述初始模型。6.根据权利要求5所述的商品价格识别方法，其特征在于，所述损失函数为：；其中，表示标注框，表示目标检测框，为目标检测框损失；；其中，表示目标检测框与标注框的交叠率， 表示SmoothL1损失，和表示损失函数超参数。7.根据权利要求2所述的商品价格识别方法，其特征在于，所述对所述匹配模型进行第二阶段训练，包括：获取历史商品图像内每个商品标注框与对应的价格标注框之间的框位置关系；基于目标历史商品检测框、目标历史价格检测框和所述框位置关系得到第二训练集；利用所述第二训练集对...

【专利技术属性】
技术研发人员：张润泽，李仁刚，赵雅倩，郭振华，范宝余，李晓川，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：