一种商品聚合并计算相似度的方法技术

本发明专利技术公开了一种商品聚合并计算相似度的方法，包括：离线收集多商城商品spu或者sku的商品标题信息；对所述商品标题信息进行规范化整理，离线得到所有数据中每个词语的词向量模型；离线构建数据集中每个商品标题的文本向量，并将文本向量存储；存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；在线得到商品标题信息，构建商品标题文本向量；将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度；本专利通过构建文本向量方式来达到比较不同商品文本信息的目的，根据文本向量之间的相似度，在多商城多平台上锁定一批相似的商品，从而为用户实现了多维度的商品比较与聚类，节省了时间成本与人力成本。

【技术实现步骤摘要】
一种商品聚合并计算相似度的方法
本专利技术涉及机器学习领域，特别涉及一种商品聚合并计算相似度的方法。
技术介绍
近年来随着电子商务的发展，各大电商平台发展如火如荼，不同的spu与sku在不同的电商平台上都会进行不同的文字包装来进行个性化销售，由于商品数量级巨大，导致我们在拿到这些各大平台的商品信息后，很难进行一些商品的比对与聚合工作，比如不同平台同一spu下的sku聚合展示，又或者是想找到相似商品来进行价格、销售属性的多维度比对，同一spu在不同平台的差异化展示等等，面对海量的商品信息，会显得无所适从。尤其是面对多商城同一商品的时候，由于不同商城都有自己的文字包装规则，会使得工作的难度进一步提升。公开号为CN110363251A的专利，提供的一种SKU图像分类方法，利用SPU匹配方法聚合同款SPU的SPU图像；其中，任一款SPU包括至少两种SKU；将各个SKU图像中SKU所在区域作为mask；其中，各个SKU图像均包含于同一款SPU对应的SPU图像；根据各个mask确定对应的颜色信息，并计算各个SKU图像之间的颜色距离；若颜色距离小于预设阈值，则确定对应的两个SKU图像为同种SKU图像。公开号为CN109754295A的专利，公开了一种用于输出信息的方法和装置，包括：接收待筛选的物品的属性信息，其中，属性信息包括类别；确定与类别匹配的至少一个候选物品；获取至少一个候选物品中每个候选物品的属性信息，并组成候选属性信息集合；确定候选属性信息集合中每个候选属性信息与物品的属性信息之间的相似度，得到相似度集合；若相似度集合中的每个相似度小于预定相似度阈值，则将物品的属性信息添加到候选属性信息集合中，并输出添加后的候选属性信息集合。公开号为CN103257977B的专利，公开了一种获取标识号码的方法及装置，包括，获取字符表中的M各字符，并采用哈希算法对由M个字符构成的一个或多个字符组进行计算，以生成一个或多个字符哈希值，读取一个或多个数据，并采用相同的哈希算法对每个数据进行计算，以生成一个或多个数据哈希值，在每个数据哈希值分别匹配到一个字符哈希值之后，根据匹配得到的字符哈希值来获取每个数据的标识号码。目前想实现这些目标，需要很大程度上依赖于人力成本的投入，依靠人在商品信息中提取出所描述的商品是什么。如果是在同一商城下，可以根据商品url链接中的独有id来判断是否属于同一spu，对于多商城来源的商品，没有很好的方法来实现。因此，本专利使用自然语言技术对同一商城或不同商城的商品信息进行分析，找到易于聚合的方法，并能进一步给出商品之间的相似度作为参考。
技术实现思路
本专利技术实施例提供了一种商品聚合并计算相似度的方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术实施例，提供了一种商品聚合并计算相似度的方法，包括：S1：离线收集多商城商品spu或者sku的商品标题信息；S2：对所述商品标题信息进行规范化整理，利用自然语言处理中的word2vec技术离线得到所有数据中每个词语的词向量模型；S3：利用得到的词向量模型，离线构建数据集中每个商品标题的文本向量，并将文本向量存储；S4：存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；S5：在线得到商品标题信息，利用所述词向量模型在线构建商品标题文本向量；S6：将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度。优选的，所述筛选条件为分类信息、所属品牌、所属商城的信息。优选的，所述规范化整理为，利用自然语言处理的分词技术，将标题的文本信息进行分词，得到一个词语一个词语的形式，然后进行停止词过滤，去除一些停止词，所述停止词即我们事先整理好的一些无特殊语意的词语和各种标点符号。优选的，所述离线构建的方式为，将标题中所有词对应的词向量进行累加，得到最终的文本向量。优选的，所述在线得到商品标题信息，先利用自然语言处理的分词技术，将标题的文本信息进行分词，得到一个词语一个词语的形式，接下来进行停止词过滤，去除一些停止词，将一个商品文本标题转化为词语列表的形式。优选的，所述在线构建的方式为，利用所述离线训练好的词向量模型，对列表里的词语查找对应的词向量并进行累加，得到最终的商品文本向量。优选的，所述计算相似度，计算两个商品的相似度，采用的方法是计算两个商品标题的文本向量的皮尔逊相关系数，值介于-1到1之间，计算结果越接近1表示两个变量之间的相关性越大，也即表示两个商品标题之间在语意上越相似；根据筛选条件对筛选出的商品依次求取皮尔逊相关系数，并对结果进行由大到小的排序，即可得到商品相似度由大到小的结果。本专利技术实施例提供的技术方案可以包括以下有益效果：本专利利用自然语言处理技术对收集过来的各大电商平台以及多商城的商品信息进行文本挖掘，通过构建文本向量的方式来达到比较不同商品文本信息的目的，根据文本向量之间的相似度，我们很快就能为某个商品在多商城多平台上锁定一批相似的商品，从而为用户实现了基于分类、品牌、商城等多维度的商品比较与聚类，大大节省了时间成本与人力成本。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种商品聚合并计算相似度的方法的流程示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本专利技术的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“专利技术”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的专利技术，不是要自动地限制该应用的范围为任何单个专利技术或专利技术构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应注意到：除非本文档来自技高网...

【技术保护点】
1.一种商品聚合并计算相似度的方法，其特征在于，包括，/nS1：离线收集多商城商品spu或者sku的商品标题信息；/nS2：对所述商品标题信息进行规范化整理，利用自然语言处理中的word2vec技术离线得到所有数据中每个词语的词向量模型；/nS3：利用得到的词向量模型，离线构建数据集中每个商品标题的文本向量，并将文本向量存储；/nS4：存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；/nS5：在线得到商品标题信息，利用所述词向量模型在线构建商品标题文本向量；/nS6：将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度。/n

【技术特征摘要】
1.一种商品聚合并计算相似度的方法，其特征在于，包括，
S1：离线收集多商城商品spu或者sku的商品标题信息；
S2：对所述商品标题信息进行规范化整理，利用自然语言处理中的word2vec技术离线得到所有数据中每个词语的词向量模型；
S3：利用得到的词向量模型，离线构建数据集中每个商品标题的文本向量，并将文本向量存储；
S4：存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；
S5：在线得到商品标题信息，利用所述词向量模型在线构建商品标题文本向量；
S6：将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度。


2.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述将库内的商品及文本向量根据条件进行筛选中的所述条件为分类信息、所属品牌、所属商城的信息。


3.根据权利要求1所述的商品聚合并计算相似度的方法，其特征在于，所述规范化整理为，利用自然语言处理的分词技术，将标题的文本信息进行分词，得到一个词语一个词语的形式，然后进行停止词过滤，去除一些停止词，所述停止词即我们事先整理好的一些无特殊语意的词语和各种标点...

【专利技术属性】
技术研发人员：王鹏翔，
申请(专利权)人：北京值得买科技股份有限公司，
类型：发明
国别省市：北京;11