一种商品与价签的匹配方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种商品与价签的匹配方法、装置、设备及存储介质，包括：获取至少一组商品与价签的样本数据；对样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征；对图像特征以及文本特征进行融合处理，得到商品与价签的节点特征；基于图学习对商品与价签的位置信息特征以及节点特征进行融合处理，得到融合特征，并基于融合特征确定商品与价签的匹配结果。本方法综合考虑了多种特征，将图学习引入匹配关系推理，提升商品与价签匹配的准确度。商品与价签匹配的准确度。商品与价签匹配的准确度。

【技术实现步骤摘要】
一种商品与价签的匹配方法、装置、设备及存储介质


[0001]本专利技术涉及多模态学习
，具体涉及一种商品与价签的匹配方法、装置、设备及存储介质。

技术介绍

[0002]随着陈列商品巡检智能化的发展，通过计算机视觉对陈列商品进行自动识别已逐渐得到应用，其中，为了识别陈列商品，需要对商品和价格标签(价签)进行识别，从而确定不同商品的价格。在实际生活中，可能出现例如价签缺失、多种商品共用同一价签、价签摆放的位置随意、商品或价签信息不完整等情况，导致将商品和价签进行匹配时的准确度较低。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种商品与价签的匹配方法、装置、设备及存储介质，以解决商品和价签进行匹配时的准确度较低的问题。
[0004]根据第一方面，本专利技术实施例提供了一种商品与价签的匹配方法，包括：
[0005]获取至少一组商品与价签的样本数据；
[0006]对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征；
[0007]对所述图像特征以及所述文本特征进行融合处理，得到商品与价签的节点特征；
[0008]基于图学习对所述商品与价签的位置信息特征以及所述节点特征进行融合处理，得到融合特征，并基于所述融合特征确定所述商品与价签的匹配结果。
[0009]本专利技术实施例提供的商品与价签的匹配方法，对商品和价签的样本数据进行位置信息特征、图像特征以及文本特征的提取，融合图像特征与文本特征，得到节点特征，再将节点特征与位置信息特征进行融合，基于融合的特征得到商品和价签的匹配结果。综合考虑了多种特征，将图学习引入匹配关系推理，提升商品与价签匹配的准确度。
[0010]在一些实施方式中，所述对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征，包括：
[0011]获取所述商品与价签的坐标信息；
[0012]基于所述坐标信息计算商品与价签之间的位置关系矩阵，并对所述位置关系矩阵进行线性变换处理，以确定样本中商品与价签的位置信息特征。
[0013]在一些实施方式中，所述对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征，包括：
[0014]获取所述商品与价签的图像；基于卷积神经网络对所述图像进行特征提取，得到图像特征，并根据商品与价签的位置信息对所述图像特征进行裁剪，得到每个商品与价签的图像特征。
[0015]在一些实施方式中，所述对所述样本数据进行特征提取，确定样本中商品与价签
的位置信息特征、图像特征以及文本特征，包括：
[0016]获取所述商品与价签的文本信息；
[0017]基于字符嵌入方法对所述文本信息进行处理，得到所述文本特征。
[0018]在一些实施方式中，所述对所述图像特征以及所述文本特征进行融合处理，得到商品与价签的节点特征，包括：
[0019]对所述商品与价签的图像特征以及文本特征进行补全，以使所述图像特征与所述文本特征对应的节点相同，得到补全后的图像特征和文本特征；
[0020]将所述补全后的图像特征和文本特征进行融合处理，得到所述商品与价签的节点特征。
[0021]在一些实施方式中，所述基于图学习对所述商品与价签的位置信息特征以及所述节点特征进行融合处理，得到融合特征，并基于所述融合特征确定所述商品与价签的匹配结果，包括：
[0022]对所述节点特征进行关系化处理，以将序列节点特征转换为矩阵节点特征；
[0023]将所述矩阵节点特征与所述位置信息特征进行融合处理，得到融合特征；
[0024]对所述融合特征进行特征变换，以确定所述商品与价签的匹配结果。
[0025]在一些实施方式中，对所述节点特征进行关系化处理，以将序列节点特征转换为矩阵节点特征，包括：
[0026]将序列节点特征进行转置，得到转置序列节点特征；
[0027]将所述转置序列节点特征与所述序列节点特征融合，得到所述矩阵节点特征。
[0028]根据第二方面，本专利技术实施例提供了一种商品与价签的匹配装置，包括：
[0029]数据获取模块，用于获取至少一组商品与价签的样本数据；
[0030]特征提取模块，用于对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征；
[0031]第一融合模块，用于对所述图像特征以及所述文本特征进行融合处理，得到商品与价签的节点特征；
[0032]第二融合模块，用于基于图学习对所述商品与价签的位置信息特征以及所述节点特征进行融合处理，得到融合特征，并基于所述融合特征确定所述商品与价签的匹配结果。
[0033]根据第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的商品与价签的匹配方法。
[0034]根据第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的商品与价签的匹配方法。
附图说明
[0035]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
[0036]图1是根据本专利技术实施例的商品与价签的匹配方法的流程图；
[0037]图2是根据本专利技术实施例的算法模型结构示意图；
[0038]图3是根据本专利技术实施例的商品与价签的匹配装置的结构框图；
[0039]图4是本专利技术实施例提供的电子设备的结构示意图。
具体实施方式
[0040]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]根据本专利技术实施例，提供了一种商品与价签的匹配方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0042]在本实施例中提供了一种商品与价签的匹配方法，图1是根据本专利技术实施例的商品与价签的匹配方法的流程图，如图1所示，该流程包括如下步骤：
[0043]S11，获取至少一组商品与价签的样本数据。...

【技术保护点】

【技术特征摘要】
1.一种商品与价签的匹配方法，其特征在于，包括：获取至少一组商品与价签的样本数据；对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征；对所述图像特征以及所述文本特征进行融合处理，得到商品与价签的节点特征；基于图学习对所述商品与价签的位置信息特征以及所述节点特征进行融合处理，得到融合特征，并基于所述融合特征确定所述商品与价签的匹配结果。2.根据权利要求1所述的方法，其特征在于，所述对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征，包括：获取所述商品与价签的坐标信息；基于所述坐标信息计算商品与价签之间的位置关系矩阵，并对所述位置关系矩阵进行线性变换处理，以确定样本中商品与价签的位置信息特征。3.根据权利要求1所述的方法，其特征在于，所述对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征，包括：获取所述商品与价签的图像；基于卷积神经网络对所述图像进行特征提取，得到图像特征，并根据商品与价签的位置信息对所述图像特征进行裁剪，得到每个商品与价签的图像特征。4.根据权利要求1所述的方法，其特征在于，所述对所述样本数据进行特征提取，确定样本中商品与价签的位置信息特征、图像特征以及文本特征，包括：获取所述商品与价签的文本信息；基于字符嵌入方法对所述文本信息进行处理，得到所述文本特征。5.根据权利要求1所述的方法，其特征在于，所述对所述图像特征以及所述文本特征进行融合处理，得到商品与价签的节点特征，包括：对所述商品与价签的图像特征以及文本特征进行补全，以使所述图像特征与所述文本特征对应的节点相同，得到补全后的图像特征和文本特征；将所述补全后的图像特征和文本特征进行融合处理，得到所述商品与价签的节点特...

【专利技术属性】
技术研发人员：邬国锐，王庆庆，
申请(专利权)人：北京爱咔咔信息技术有限公司，
类型：发明
国别省市：