一种商品相似度判定模块贡献量化方法及系统技术方案

本发明专利技术是关于一种商品相似度判定模块贡献量化方法及系统。该方法包括：从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；对清洗后的商品数据进行抽样，作为样本数据集；使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。本发明专利技术提供的技术方案，以商品品类为数据粒度，提供各个判定模块的贡献量化值，据此能够更加合理的对各个判定模块的研发资源投入进行差异化的预算分配，使得整体的投入产出呈现最优状态。现最优状态。现最优状态。

【技术实现步骤摘要】
一种商品相似度判定模块贡献量化方法及系统


[0001]本专利技术涉及数据科学，具体属于运筹学领域。

技术介绍

[0002]随着电商领域的快速发展与繁荣，线上消费成为大众购买商品的主流方式。对比传统的线下购物方式，线上模式可以让消费者花费极小的成本对比不同电商平台的商品，做到真正意义上的“货比三家”。为了满足消费者对比不同电商平台相同商品的需求，需要对多电商平台的商品进行相似度对比，把判定为相同的商品聚合到一起进行存储。电商平台中，反映商品信息的一个常用概念是SPU(Standard Product Unit,标准产品单位)和SKU(Stock keeping Unit,库存量单位)，SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性，SKU即库存进出计量的单位，是物理上不可分割的最小存货单元。例如，手机品类下，SPU“iPhone12”下有“蓝色/64G”、“红色/64G”等多个不同SKU的商品。一个常见的任务场景是对多电商平台的相同SPU的商品进行相似度判断，聚合相同SKU的商品。
[0003]电商商品进行相似度判断主要可以利用页面中三个部分的信息：商品标题、商品属性、商品图片。针对这三部分的信息，目前开发了三个对应的相似度判断模块：标题判定模块、属性判定模块、图片判定模块。现有的技术方案没有对标题判定模块、属性判定模块、图片判定模块的贡献进行差异化的评估，针对不同的商品分类均使用相等贡献的假设，即将三个判定模块的贡献值假设为1:1:1。这样的评估方案缺乏科学性与有效性，没有对具体商品分类进行差异化的评估，无法实现研发资源预算投入与收益的最优化。

技术实现思路

[0004]为克服相关技术中存在的问题，本专利技术提供一种商品相似度判定模块贡献量化方法及系统，能够科学有效的量化评估各个判定模块在不同商品分类中的贡献，实现了以商品品类为数据粒度的差异化的贡献量化，对科学分配研发资源与预算具有指导意义。
[0005]根据本专利技术实施例的第一方面，提供一种商品相似度判定模块贡献量化方法，包括：
[0006]第一步：从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；
[0007]第二步：对清洗后的商品数据进行抽样，作为样本数据集；
[0008]第三步：使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；
[0009]第四步：根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。
[0010]进一步，对清洗后的商品数据进行抽样，作为样本数据集，具体包括：
[0011]抽取第一组数据集，每组内包含2个相同SPU下相同SKU的商品；抽取第二组数据
集，每组内包含2个相同SPU下不同SKU的商品；将所述第一组数据集和所述第二组数据集作为样本数据集，其中，所述第一组数据集和所述第二组数据集中的商品的组数相同。
[0012]进一步，所述判定模块包括标题判定模块、属性判定模块和图片判定模块；
[0013]所述使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数，具体包括：
[0014]使用标题判定模块、属性判定模块、图片判定模块对样本数据集进行相似度判定，记录分别单独使用三个判定模块、两两组合判定模块、同时使用三个判定模块共七种情况的判断正确的个数。
[0015]进一步，该方法还包括：
[0016]对所述贡献量化值进一步进行归一化处理，形成各个判定模块的比例关系。
[0017]根据本专利技术实施例的第二方面，提供一种商品相似度判定模块贡献量化系统，包括：
[0018]数据清洗单元，用于从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；
[0019]数据抽样单元，用于对清洗后的商品数据进行抽样，作为样本数据集；
[0020]相似度判定单元，用于使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；
[0021]量化计算单元，用于根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。
[0022]进一步，所述数据抽样单元，具体用于：
[0023]抽取第一组数据集，每组内包含2个相同SPU下相同SKU的商品；抽取第二组数据集，每组内包含2个相同SPU下不同SKU的商品；将所述第一组数据集和所述第二组数据集作为样本数据集，其中，所述第一组数据集和所述第二组数据集中的商品的组数相同。
[0024]进一步，所述判定模块包括标题判定模块、属性判定模块和图片判定模块；
[0025]所述相似度判定单元，具体用于：
[0026]使用标题判定模块、属性判定模块、图片判定模块对样本数据集进行相似度判定，记录分别单独使用三个判定模块、两两组合判定模块、同时使用三个判定模块共七种情况的判断正确的个数。
[0027]进一步，所述量化计算单元，还用于对所述贡献量化值进一步进行归一化处理，形成各个判定模块的比例关系。
[0028]根据本专利技术实施例的第三方面，提供一种终端设备，包括：
[0029]处理器；以及
[0030]存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
[0031]根据本专利技术实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
[0032]本专利技术的实施例提供的技术方案可以包括以下有益效果：
[0033]以商品品类为数据粒度，针对各个商品相似度的判定模块对整体相似度判断的贡
献进行量化分析，提供各个判定模块的贡献量化值，据此能够更加合理的对各个判定模块的研发资源投入进行差异化的预算分配，使得整体的投入产出呈现最优状态。
[0034]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0035]通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本专利技术示例性实施方式中，相同的参考标号通常代表相同部件。
[0036]图1是根据本专利技术一示例性实施例示出的一种商品相似度判定模块贡献量化方法的流程示意图；
[0037]图2是根据本专利技术示例性实施例示出的一种商品相似度判定模块贡献量化系统的结构框图；
[0038]图3是计算Shapley值的代码；
[0039]图4是根据本专利技术一示例性实施例示出的一种计算设备的结构示意图。
具体实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品相似度判定模块贡献量化方法，其特征在于，包括：第一步：从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；第二步：对清洗后的商品数据进行抽样，作为样本数据集；第三步：使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；第四步：根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。2.根据权利要求1所述的方法，其特征在于，对清洗后的商品数据进行抽样，作为样本数据集，具体包括：抽取第一组数据集，每组内包含2个相同SPU下相同SKU的商品；抽取第二组数据集，每组内包含2个相同SPU下不同SKU的商品；将所述第一组数据集和所述第二组数据集作为样本数据集，其中，所述第一组数据集和所述第二组数据集中的商品的组数相同。3.根据权利要求1所述的方法，其特征在于，所述判定模块包括标题判定模块、属性判定模块和图片判定模块；所述使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数，具体包括：使用标题判定模块、属性判定模块、图片判定模块对样本数据集进行相似度判定，记录分别单独使用三个判定模块、两两组合判定模块、同时使用三个判定模块共七种情况的判断正确的个数。4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：对所述贡献量化值进一步进行归一化处理，形成各个判定模块的比例关系。5.一种商品相似度判定模块贡献量化系统，其特征在于，包括：数据清洗单元，用于从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标...

【专利技术属性】
技术研发人员：哈达，张勇，
申请(专利权)人：北京值得买科技股份有限公司，
类型：发明
国别省市：