一种商品的匹配与识别方法、装置、设备和介质制造方法及图纸

本发明专利技术提供一种商品的匹配与识别方法、装置、设备和介质，方法包括：S1、对电子商城中的商品数据进行治理；S2、分别利用第一匹配算法和第二匹配算法对商品的相似度进行匹配，得到第一匹配结果和第二匹配结果；S3、对所述第一匹配结果和所述第二匹配结果进行交叉验证，提取匹配差别较大的部分，根据人工检测结果判别所述第一匹配算法和所述第二匹配算法中哪种算法更准确；S4、当所述第一匹配算法更为准确时，则调整所述第二匹配算法中的参数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中的参数，回到步骤S2，直到所述第一匹配算法和所述第二匹配算法都达到预期准确度。配算法和所述第二匹配算法都达到预期准确度。配算法和所述第二匹配算法都达到预期准确度。

【技术实现步骤摘要】
一种商品的匹配与识别方法、装置、设备和介质


[0001]本专利技术涉及计算机
，特别涉及一种电子商城中商品的匹配与识 别方法、装置、设备和介质。

技术介绍

[0002]电子商城中商品的匹配识别是根据商品的描述，把相同商品进行匹配， 以达到精确识别商品、实现商品比价和价格监测的目的。现有技术中往往有 如下方式进行商品识别：
[0003]A、人工梳理法：通过人工梳理商品的特征名和特征值(或属性名和属 性值)，并形成商品标准化数据，在此基础上进行商品匹配识别；
[0004]B、全文搜索法：以ElasticSearch等搜索引擎为中心，通过输入关键字、 配置字符串相似度和简单规则搜索匹配商品；
[0005]C、商品归一法：利用监督学习，代替了“人工梳理法”中商品特征的 人工梳理的环节，是“人工梳理法”的升级版。其过程分为数据预处理和商 品归一两部分，如图1所示为商品归一的整体框架。其中，模式集成、缺 失值填充、错误值修复属于数据预处理部分，定义特征相似度、训练分类器、 聚类则属于商品归一部分。各部分的特点如下：
[0006]a)模式集成。把所有商品的属性都纳入到统一的模式下，其主要原理是 通过字符串相似度把本质上相同的特征值先进行合并，再把本质上相同的特 征名合并。这里涉及到相似度的阈值，即字符串相似度不低于指定阈值则认 为是相同的，阈值通过随机挑选部分商品的特征进行人工标记再训练后得 到：
[0007][0008][0009]上面公式中，δ和θ分别为特征名和特征值的相似度阈值。
[0010]b)缺失值填充。特征中有两类缺失：特征值缺失和模式缺失，即商品中 缺失一个或多个本该存在的特征名及其值。缺失值填充算法伪代码如下：
[0011][0012]c)错误值修复。又分为错误值检测、正确值确认。其中，错误值检测的 伪代码如下：
[0013][0014]经过缺失值填充和错误值检测后会存在冲突属性，需要执行正确值确 认，可以选择下面两个策略中的任一个：
[0015](1)
[0016](2)
[0017]d)定义特征相似度(特征选择)。若两个商品在某个属性上的取值分别 为v1和v2，则他们在该特征上的相似度定义如下：
[0018][0019]除了商品特征表外，商品名称(标题)和价格也是商品特征的补充。
[0020]e)商品名称的相似度计算。需先进行分词，去除停用词，再利用TF
‑
IDF 计算词权重，最后利用Jaccord计算带权重的相似度，公式如下：
[0021][0022]价格相似度计算公式如下：
[0023][0024]f)训练分类器。要训练分类器须先对数据进行人工标注。多分类器中所 需要训练的参数个数远远大于二分类器，若使用多分类器，训练数据集就必 须覆盖所有的类别，由于商品种类繁多，数量巨大，不可能对所有商品进行 人工标注。而二分类器不需要训练集覆盖所有的实体，因此选择二分类器。 在二分类器中，设定C0为匹配，C1为不匹配。C0类的后验概率可以利用一个 关于特征向量的带权重和线性的sigmoid函数来建模：
[0025][0026]在P(C0|s)中，w＝[w0，w]，其中w0是偏置、W是特征向量的权重，s＝[1， s]。P(C1|s)＝1
‑
P(C0|s)的作用是：如果两个商品的特征越相似，它们在所有 特征上相似度等于1或者接近1的值就越多，因此特征相似度的带权和(w
T
s) 就越大，通过sigmoid函数得到的估计概率就越接近于1，反之亦然。利用 训练数据集通过极大似然估计可以对w以及偏置w0进行训练。训练完毕后 w中的第k个值反映了第k个特征在区分商品时的重要程度：w0越大，说 明第k个特征的重要性越高，则分类器将k特征上不同的商品进行匹配的 可能性就越低。
[0027]g)聚类。用两两商品之间匹配的概率生成商品的相似度矩阵，然后对相 似度矩阵聚类来实现划分。使用聚类进行划分时不但考虑两两商品之间的相 似度，还会考虑到邻域信息，这样会得到更好的结果。聚类算法(如k
‑
means 或HAC)来对商品进行划分。
[0028]上述现有技术的缺点及其原因分析：
[0029](A)人工梳理法。人工梳理需要熟悉不同种类的不同商品，且商品种 类繁多，动辄过千万。因此，这种方法注定劳民伤财，效率极其低下，是不 可持续的一种方法。
[0030](B)全文搜索法。这种方法依赖于搜索引擎，需导入指定的词库、字 典，还需进行
规则和相似度阈值配置，所能干预的空间有限，且匹配不精准， 仅作为参考。
[0031](C)商品归一法。该方法通过机器学习技术实现一定程度的自动化， 且具有灵活性。但商品的“缺失值填充”、“错误值修复”等环节不仅计算 量巨大，计算效率低下，且依然不能保证较高的准确率，更何况没有交叉验 证机制。

技术实现思路

[0032]本专利技术要解决的技术问题，在于提供一种商品的匹配与识别方法、装置、 设备和介质，通过两种各自独立匹配算法分别对商品进行相似度匹配，之后 再通过交叉验证工具进行交叉验证，并根据验证结果再调整匹配算法的参 数，经过检验、核查、调整参数、计算多次循环计算，从而使匹配算法结果 更精准，直到得到满意的商品匹配和识别效果。
[0033]第一方面，本专利技术提供了一种商品的匹配与识别方法，包括下述步骤：
[0034]S1、对电子商城中的商品数据进行治理；
[0035]S2、分别利用第一匹配算法和第二匹配算法对商品的相似度进行匹配， 得到第一匹配结果和第二匹配结果；
[0036]S3、对所述第一匹配结果和所述第二匹配结果进行交叉验证，提取匹配 差别较大的部分，根据人工检测结果判别所述第一匹配算法和所述第二匹配 算法中哪种算法更准确；
[0037]S4、当所述第一匹配算法更为准确时，则调整所述第二匹配算法中的参 数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中的参数， 回到步骤S2，直到所述第一匹配算法和所述第二匹配算法都达到预期准确 度。
[0038]第二方面，本专利技术提供了一种商品的匹配与识别装置，包括：
[0039]数据治理模块，用于对电子商城中的商品数据进行治理；
[0040]第一匹配模块，利用第一匹配算法对商品的相似度进行匹配，得到第一 匹配结果；
[0041]第二匹配模块，利用第二匹配算法对商品的相似度进行匹配，得到第二 匹配结果；
[0042]交叉验证模块，对所述第一匹配结果和所述第二匹配结果进行交叉验 证，提取匹配差别较大的部分，根据人工检测结果判别所述第一匹配算法和 所述第二匹配算法中哪种算法更准确；
[0043]调整模块，当所述第一匹配算法更为准确时，则调整所述第二匹配算法 中的参数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中 的参数，直到所述第一匹配算法和所述第二匹配算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品的匹配与识别方法，其特征在于：包括下述步骤：S1、对电子商城中的商品数据进行治理；S2、分别利用第一匹配算法和第二匹配算法对商品的相似度进行匹配，得到第一匹配结果和第二匹配结果；S3、对所述第一匹配结果和所述第二匹配结果进行交叉验证，提取匹配差别较大的部分，根据人工检测结果判别所述第一匹配算法和所述第二匹配算法中哪种算法更准确；S4、当所述第一匹配算法更为准确时，则调整所述第二匹配算法中的参数，或当所述第二匹配算法更为准确时，则调整所述第一匹配算法中的参数，回到步骤S2，直到所述第一匹配算法和所述第二匹配算法都达到预期准确度。2.根据权利要求1所述的一种商品的匹配与识别方法，其特征在于：所述步骤S1包括下述任务：规范商品的各品牌数据，并建立商品品牌表；将商品的品名和特征值数据合并为一个字符串；对合并后的字符串进行分词，并建立商品词汇表以扩展基础词库；去除停用词，并建立停用词表；替换近义词，并建立近义词表；把字符串中的全角字符替换为半角字符；按规则替换或去除其它词，并建立替换规则表，所述其它词是指商品名称里面的一些会影响计算结果的分词；其中，利用FastText算法把海量商品数据作为语料进行新词发现训练，并找到可能的新词，再经人工确认后成为正式的词汇。3.根据权利要求2所述的一种商品的匹配与识别方法，其特征在于：所述第一匹配算法为基于关键特征加权匹配算法，包括下述步骤：S11、关键字抽取，即对治理后的商品品名和特征值数据合并后进行分词；对所述商品词汇表中的词集合进行过滤和转换，所述过滤是根据所述停用词表去除停用词，所述转换是根据所述近义词表把近义词统一转换为标准词；提取经过滤和转换后的词集合longKeys中仅由英文字母和数字组成的序列存放于规格向量shortKeys中，形成由longKeys和shortKeys两组向量构成的商品关键字对象；过滤处理所述商品关键字对象，得到最终关键字对象；按下述公式计算最终关键字对象中各词的TF
‑
IDF值：TF
‑
IDF＝TF*IDF；其中，词频TF＝某词在所有商品中出现的次数/所有商品的总词数；逆商品词频IDF＝log(语料库的总商品数/(包含该词的商品数+1))；再把TF
‑
IDF值高的词或按配置的规则得到的词从longKeys补充到shortKeys；S12、双余弦相似度计算，即设定两个相似度比较的商品分别为left和right，计算left和right的shortKeys的包含关系，该包含关系为left包含right、right包含left、相等、相似或互不包含；计算商品品名相似度：shortKeys(关键词相似度*关键词权重)+longKeys(全词相似度*全词权重)，所述关键特征权重Ws与所述全词特征权重Wl的和为1；用余弦相似度计算left和right两个商品的shortKeys的相似度；
用余弦相似度计算left和right两个商品的longKeys的相似度；如商品价格有效，则计算left和right的价格相似度，价差越小越相似；S13、商品匹配判断，即根据上一步骤计算所得的各个相似度，判断商品left和商品right是否匹配，若判断为不匹配，使用如下缺省判断规则：(1)如商品中的词存在于全局关键字集合中，则这些词必须全部匹配，否则返回“不匹配”；(2)如商品的shortKeys包含关系为“互不包含”，则返回“不匹配”；(3)特征权重计算，根据shortKeys的长度动态获取关键特征权重Ws，该关键特征权重Ws等于所述关键词权重，Ws，该关键特征权重Ws等于所述关键词权重，采用分级加权策略，即shortKeys向量越长则关键特征权重Ws就越大；(4)得到shortKeys关键特征权重Ws后，计算longKeys的全词特征权重Wl＝1
–
Ws；(5)最终商品特征的相似度为：sim＝shortKeys相似度*Ws+longKeys相似度*Wl；sim为一个在[0,1]区间的值，越大则越相似；(6)如价格有效(价格大于0时有效)，则还需判断价格相似度，其公式为：如价格无效(价格为0时无效)则忽略；(7)当商品特征相似度和价格相似度均大于等于各自的阈值时则判断为匹配；S14、匹配结果确认，即在计算出匹配结果后，展示该匹配结果给人工确认是否正确，并接收人工标准的确认匹配结果；S15、调整特征参数，利用线性回归进行建模，把人工标准的确认匹配结果作为因变量y，值为1和0；把“shortKeys相似度*关键特征权重Ws”作为自变量x，b是线性回归中的值，公式为：y＝w*x+b通过拟合找到最佳拟合系数b以反映相似度与真实匹配之间的线性关系，如果有如下两种情形，则检验过程是否正确，并调整特征权重值或阈值：第一种，相似度明显低于阈值但是人工标注匹配的；第二种，相似度明显高于阈值但是人工标注不匹配的；为核验拟合效果，通过欧氏距离作为损失函数进行判断拟合系数b的值：如果Loss计算的值误差较大，则使用极大似然估计方法重新调整特征权重值。4.根据权利要求1所述的一种商品的匹配与识别方法，其特征在于：所述第二匹配算法为基于语义相似度匹配算法，包括下述步骤：S21、通过word2vec模型转换为词向量；S22、将所述word2vec模型转换的词向量作为输入的参数，使用局部敏感哈希快速近似查找，得到LSH近似查找结果；S23、将所述LSH近似查找结果作为输入的参数，计算欧氏距离，欧氏距离最短的几组商
品即为匹配商品。5.一种商品的匹配与识别装置，其特征在于：包括：数据治理模块，用于对电子商城中的商品数据进行治理；第一匹配模块，利用第一匹配算法对商品的相似度进行匹配，得到第一匹配结果；第二匹配模块，...

【专利技术属性】
技术研发人员：郑新刚，邱华淞，张意坤，林富钦，杨锋，
申请(专利权)人：数采小博科技发展有限公司，
类型：发明
国别省市：