一种采购系统的商品比价方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种采购系统的商品比价方法、装置、设备和介质，方法包括：当用户打开任一商品的销售展示页面时，获取该商品的类别码，将采购系统中具有相同类别码的商品进行汇总，并按价格排列；所述类别码是通过如下商品匹配过程得到：S1、对采购系统中的商品数据进行治理；S2、分别利用两种匹配算法对商品的相似度进行匹配，得到两个匹配结果；S3、对两个匹配结果进行交叉验证，提取匹配差别较大的部分，根据人工检测结果判别两种匹配算法中哪种算法更准确；S4、调整不太准确的匹配算法中的参数，回到步骤S2，直到所述两种二匹配算法都达到预期准确度；根据达到预期准确度的任一种匹配算法的匹配结果，将所有匹配相同的商品配上相同的类别码。别码。别码。

【技术实现步骤摘要】
一种采购系统的商品比价方法、装置、设备和介质


[0001]本专利技术涉及计算机
，特别涉及一种电子采购系统的商品比价方 法、装置、设备和介质。

技术介绍

[0002]电子采购系统的商品比价是企业采购的必要步骤，商品比价是指对同样 的商品进行比价，同样的商品是指商品名、品牌、型号、数量等都要相同， 否则比价就没有意义，如水笔和铅笔不属于同样的商品，如A品牌的水笔 与B品牌的水笔不属于同样的商品，A品牌的10支装T型号水笔与A品牌 的20支装的T型号水笔也不属于同样的商品，相互之间无法比价，需要加 以区分。然而，对于商家而言，不同的商家对同一种商品的描述不同，因此 比价的关键是要判断两样商品是否为相同商品，这就涉及到商品匹配识别技 术。
[0003]商品匹配识别是根据商品的描述，把相同商品进行匹配，以达到精确识 别商品、实现商品比价和价格监测的目的。现有技术中往往有如下方式进行 商品识别：
[0004]A、人工梳理法：通过人工梳理商品的特征名和特征值(或属性名和属 性值)，并形成商品标准化数据，在此基础上进行商品匹配识别；...

【技术保护点】

【技术特征摘要】
1.一种采购系统的商品比价方法，其特征在于：当用户打开任一商品的销售展示页面时，获取该商品的类别码，将采购系统中具有相同类别码的商品进行汇总，并按价格的升序或降序排列；其中，所述类别码是通过商品匹配过程得到，所述商品匹配过程包括：S1、对采购系统中的商品数据进行治理；S2、分别利用第一匹配算法和第二匹配算法对商品的相似度进行匹配，得到第一匹配结果和第二匹配结果；S3、对所述第一匹配结果和所述第二匹配结果进行交叉验证，提取匹配差别较大的部分，根据人工检测结果判别所述第一匹配算法和所述第二匹配算法中哪种算法更准确；S4、当所述第一匹配算法更为准确时，则调整所述第二匹配算法中的参数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中的参数，回到步骤S2，直到所述第一匹配算法和所述第二匹配算法都达到预期准确度；S5、根据达到预期准确度的所述第一匹配结果或所述第二匹配结果，将所有匹配相同的商品配上相同的类别码。2.根据权利要求1所述的一种采购系统的商品比价方法，其特征在于：所述步骤S1包括下述任务：规范商品的各品牌数据，并建立商品品牌表；将商品的品名和特征值数据合并为一个字符串；对合并后的字符串进行分词，并建立商品词汇表以扩展基础词库；去除停用词，并建立停用词表；替换近义词，并建立近义词表；把字符串中的全角字符替换为半角字符；按规则替换或去除其它词，并建立替换规则表，所述其它词是指商品名称里面的一些会影响计算结果的分词；其中，利用FastText算法把海量商品数据作为语料进行新词发现训练，并找到可能的新词，再经人工确认后成为正式的词汇。3.根据权利要求2所述的一种采购系统的商品比价方法，其特征在于：所述第一匹配算法为基于关键特征加权匹配算法，包括下述步骤：S11、关键字抽取，即对治理后的商品品名和特征值数据合并后进行分词；对所述商品词汇表中的词集合进行过滤和转换，所述过滤是根据所述停用词表去除停用词，所述转换是根据所述近义词表把近义词统一转换为标准词；提取经过滤和转换后的词集合longKeys中仅由英文字母和数字组成的序列存放于规格向量shortKeys中，形成由longKeys和shortKeys两组向量构成的商品关键字对象；过滤处理所述商品关键字对象，得到最终关键字对象；按下述公式计算最终关键字对象中各词的TF
‑
IDF值：TF
‑
IDF＝TF*IDF；其中，词频TF＝某词在所有商品中出现的次数/所有商品的总词数；逆商品词频IDF＝log(语料库的总商品数/(包含该词的商品数+1))；再把TF
‑
IDF值高的词或按配置的规则得到的词从longKeys补充到shortKeys；S12、双余弦相似度计算，即设定两个相似度比较的商品分别为left和right，计算left
和right的shortKeys的包含关系，该包含关系为left包含right、right包含left、相等、相似或互不包含；计算商品品名相似度：shortKeys(关键词相似度*关键词权重)+longKeys(全词相似度*全词权重)，所述关键特征权重Ws与所述全词特征权重Wl的和为1；用余弦相似度计算left和right两个商品的shortKeys的相似度；用余弦相似度计算left和right两个商品的longKeys的相似度；如商品价格有效，则计算left和right的价格相似度，价差越小越相似；S13、商品匹配判断，即根据上一步骤计算所得的各个相似度，判断商品left和商品right是否匹配，若判断为不匹配，使用如下缺省判断规则：(1)如商品中的词存在于全局关键字集合中，则这些词必须全部匹配，否则返回“不匹配”；(2)如商品的shortKeys包含关系为“互不包含”，则返回“不匹配”；(3)特征权重计算，根据shortKeys的长度动态获取关键特征权重Ws，该关键特征权重Ws等于所述关键词权重，Ws，该关键特征权重Ws等于所述关键词权重，采用分级加权策略，即shortKeys向量越长则关键特征权重Ws就越大；(4)得到shortKeys关键特征权重Ws后，计算longKeys的全词特征权重Wl＝1
–
Ws；(5)最终商品特征的相似度为：sim＝shortKeys相似度*Ws+longKeys相似度*Wl；sim为一个在[0,1]区间的值，越大则越相似；(6)如价格有效(价格大于0时有效)，则还需判断价格相似度，其公式为：如价格无效(价格为0时无效)则忽略；(7)当商品特征相似度和价格相似度均大于等于各自的阈值时则判断为匹配；S14、匹配结果确认，即在计算出匹配结果后，展示该匹配结果给人工确认是否正确，并接收人工标准的确认匹配结果；S15、调整特征参数，利用线性回归进行建模，把人工标准的确认匹配结果作为因变量y，值为1和0；把“shortKeys相似度*关键特征权重Ws”作为自变量x，b是线性回归中的值，公式为：y＝w*x+b通过拟合找到最佳拟合系数b以反映相似度与真实匹配之间的线性关系，如果有如下两种情形，则检验过程是否正确，并调整特征权重值或阈值：第一种，相似度明显低于阈值但是人工标注匹配的；第二种，相似度明显高于阈值但是人工标注不匹配的；为核验拟合效果，通过欧氏距离作为损失函数进行判断拟合系数b的值：如果Loss计算的值误差较大，则使用极大似然估计方法重新调整特征权重值；所述第二匹配算法为基于语义相似度匹配算法，包括下述步骤：
S21、通过word2vec模型转换为词向量；S22、将所述word2vec模型转换的词向量作为输入的参数，使用局部敏感哈希快速近似查找，得到LSH近似查找结果；S23、将所述LSH近似查找结果作为输入的参数，计算欧氏距离，欧氏距离最短的几组商品即为匹配商品。4.根据权利要求1所述的一种采购系统的商品比价方法，其特征在于：还包括新商品上架前的合理价格判断，具体是：当有新商品上架时，将新商品的数据进行治理，然后跟现有已经具有类别码的商品进行相似度计算，从而判断新商品是否有同款商品，如果有同款商品，则根据同款商品的平均价格评估新款商品的价格是否合理，若是，则允许上架，否则不允许上价；或者是当有新商品上架时，经人工审核而给出的同款商品合理价，并评估新款商品的价格是否合理，若是，则允许上架，否则不允许上价。5.一种采购系统的商品比价装置，其特征在于：包括：比价模块，用于当用户打开任一商品的销售展示页面时，获取该商品的类别码，将采购系统中具有相同类别码...

【专利技术属性】
技术研发人员：郑新刚，邱华淞，张意坤，林富钦，林龙，
申请(专利权)人：数采小博科技发展有限公司，
类型：发明
国别省市：