用于训练语义特征向量生成模型和语义搜索的方法和装置制造方法及图纸

本说明书的实施例提供了一种用于训练语义特征向量生成模型和语义搜索的方法和装置。在用于训练语义特征向量生成模型的方法中，对所获取的训练样本的样本参考文本进行文本提取，得到对应的第一部分文本和第二部分文本；将所获取的训练样本的样本待查询文本和样本参考文本以及对应的第一部分文本和第二部分文本提供给当前语义特征向量生成模型，得到分别对应的语义特征向量；基于样本待查询文本分别与样本参考文本、第一部分文本和第二部分文本对应的语义特征向量之间的相似度确定样本待查询文本与样本参考文本的全局匹配信息和局部匹配信息；根据全局匹配信息和局部匹配信息所确定的损失函数的损失值调整当前语义特征向量生成模型的参数。征向量生成模型的参数。征向量生成模型的参数。

【技术实现步骤摘要】
用于训练语义特征向量生成模型和语义搜索的方法和装置


[0001]本说明书实施例通常涉及自然语言处理(Natural Language Processing,NLP)
，尤其涉及用于训练语义特征向量生成模型的方法、语义相似度确定方法、语义搜索方法和装置。

技术介绍

[0002]随着人工智能技术的飞速发展，自然语言处理技术逐渐取得越来越广泛的应用。例如在语义搜索领域，为了实现在大量文本中找到与输入的文本语义相近的文本，通常需要借助于各种文本向量化方法，将整个文本转化为语义特征向量的形式，再通过向量之间的相似度计算来确定文本之间的相似度。现有的文本向量化方法中，通常采用诸如优化预训练或微调(fine
‑
tuning)方式以期望提高语义表征的准确性。但由于现有方式主要针对通用文本表征方法，因而在针对特定需求的文本语义模糊匹配场景下的匹配效果不理想。因而尽可能地提高文本的语义特征向量的表征能力，成为进一步提高文本相似度的确定、语义搜索等的效果的有效手段之一。

技术实现思路

[0003]鉴于上述，本说明书实施例提供了一种用于训练语义特征向量生成模型的方法、语义相似度确定方法、语义搜索方法和装置。利用该方法、装置，可以实现提高文本的语义特征向量的表征能力，进而有助于更准确地确定语义相似度，尤其有助于针对特定需求的文本语义模糊匹配场景的语义搜索方法的召回率的有效提升。
[0004]根据本说明书的实施例的一个方面，提供一种用于训练语义特征向量生成模型的方法，包括：获取训练样本集，其中，所述训练样本集中包括样本待查询文本和样本参考文本；对所述样本参考文本进行文本提取，得到与所述样本参考文本对应的第一部分文本和第二部分文本；以及执行以下训练步骤：将所述训练样本集中的训练样本以及对应的第一部分文本和第二部分文本提供给当前语义特征向量生成模型，得到分别与所述样本待查询文本、所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量；基于所述样本待查询文本分别与所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的全局匹配信息和局部匹配信息；根据所述全局匹配信息和所述局部匹配信息确定损失函数的损失值；以及在不满足训练结束条件时根据所述损失值调整所述当前语义特征向量生成模型的参数以及继续执行所述训练步骤。
[0005]根据本说明书的实施例的另一个方面，提供一种语义相似度确定方法，包括：将待查询文本和参考文本分别提供给语义特征向量生成模型，得到所述待查询文本和所述参考文本分别对应的语义特征向量，其中，所述参考文本的语义特征向量融合有基于所述参考文本提取的部分文本的信息；以及根据所述待查询文本和所述参考文本分别对应的语义特征向量，确定所述待查询文本和所述参考文本之间的语义相似度。
[0006]根据本说明书的实施例的又一个方面，提供一种语义相似度确定方法，包括：对参考文本进行文本提取，得到与所述参考文本对应的第一部分文本和第二部分文本；将待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别提供给语义特征向量生成模型，得到所述待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别对应的语义特征向量；根据所述待查询文本对应的语义特征向量分别与所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本对应的语义特征向量之间的相似度确定所述待查询文本与所述参考文本的全局匹配信息和局部匹配信息；以及根据所确定的全局匹配信息和局部匹配信息，确定所述待查询文本和所述参考文本之间的语义相似度。
[0007]根据本说明书的实施例的再一个方面，提供一种语义搜索方法，包括：接收用户提供的查询文本；根据如前述的语义相似度确定方法，确定所述查询文本和参考文本集中的各个参考文本之间的语义相似度；基于所述查询文本和各个参考文本之间的语义相似度，从所述参考文本集中确定出语义搜索结果；以及将所述语义搜索结果提供给所述用户。
[0008]根据本说明书的实施例的再一个方面，提供一种用于训练语义特征向量生成模型的装置，包括：样本获取单元，被配置为获取训练样本集，其中，所述训练样本集中包括样本待查询文本和样本参考文本；文本提取单元，被配置为对所述样本参考文本进行文本提取，得到与所述样本参考文本对应的第一部分文本和第二部分文本；以及训练单元，被配置为将所述训练样本集中的训练样本以及对应的第一部分文本和第二部分文本提供给当前语义特征向量生成模型，得到分别与所述样本待查询文本、所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量；基于所述样本待查询文本分别与所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的全局匹配信息和局部匹配信息；根据所述全局匹配信息和所述局部匹配信息确定损失函数的损失值；在不满足训练结束条件时根据所述损失值调整所述当前语义特征向量生成模型的参数以及继续训练步骤。
[0009]根据本说明书的实施例的再一个方面，提供一种语义相似度确定装置，包括：向量生成单元，被配置为将待查询文本和参考文本分别提供给语义特征向量生成模型，得到所述待查询文本和所述参考文本分别对应的语义特征向量，其中，所述参考文本的语义特征向量融合有基于所述参考文本提取的部分文本的信息；以及相似度确定单元，被配置为根据所述待查询文本和所述参考文本分别对应的语义特征向量，确定所述待查询文本和所述参考文本之间的语义相似度。
[0010]根据本说明书的实施例的另一方面，提供一种语义相似度确定装置，包括：提取单元，被配置为对参考文本进行文本提取，得到与所述参考文本对应的第一部分文本和第二部分文本；向量化单元，被配置为将待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别提供给语义特征向量生成模型，得到所述待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别对应的语义特征向量；匹配信息确定单元，被配置为根据所述待查询文本对应的语义特征向量分别与所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本对应的语义特征向量之间的相似度确定所述待查询文本与所述参考文本的全局匹配信息和局部匹配信息；以及语义相似度确定单元，被配置为根据所确定的全局匹配信息和局部匹配信息，确定所述待查询文
本和所述参考文本之间的语义相似度。
[0011]根据本说明书的实施例的另一方面，提供一种语义搜索装置，包括：接收单元，被配置为接收用户提供的查询文本；各相似度确定单元，被配置为根据如前述的语义相似度确定方法，确定所述查询文本和参考文本集中的各个参考文本之间的语义相似度；语义搜索单元，被配置为基于所述查询文本和各个参考文本之间的语义相似度，从所述参考文本集中确定出语义搜索结果；以及结果提供单元，被配置为将所述语义搜索结果提供给所述用户。
[0012]根据本说明书的实施例的另一方面，提供一种用于训练语义特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练语义特征向量生成模型的方法，包括：获取训练样本集，其中，所述训练样本集中包括样本待查询文本和样本参考文本；对所述样本参考文本进行文本提取，得到与所述样本参考文本对应的第一部分文本和第二部分文本；以及执行以下训练步骤：将所述训练样本集中的训练样本以及对应的第一部分文本和第二部分文本提供给当前语义特征向量生成模型，得到分别与所述样本待查询文本、所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量；基于所述样本待查询文本分别与所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的全局匹配信息和局部匹配信息；根据所述全局匹配信息和所述局部匹配信息确定损失函数的损失值；以及在不满足训练结束条件时根据所述损失值调整所述当前语义特征向量生成模型的参数以及继续执行所述训练步骤。2.如权利要求1所述的方法，其中，所述损失函数中包括用于表征所述全局匹配信息和所述局部匹配信息之间的一致性的互信息损失项，所述基于所述样本待查询文本分别与所述样本参考文本、所述第一部分文本和所述第二部分文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的全局匹配信息和局部匹配信息包括：根据所述样本参考文本对应的语义特征向量与所述样本待查询文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的全局匹配信息；以及根据所述第一部分文本和所述第二部分文本对应的语义特征向量中的至少一项与所述样本待查询文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的局部匹配信息。3.如权利要求2所述的方法，其中，所述根据所述第一部分文本和所述第二部分文本对应的语义特征向量中的至少一项与所述样本待查询文本对应的语义特征向量之间的相似度确定所述样本待查询文本与所述样本参考文本的局部匹配信息包括：确定所述样本待查询文本对应的语义特征向量分别与所述第一部分文本和第二部分文本对应的语义特征向量之间的语义相似度；以及根据所确定的所述样本待查询文本对应的语义特征向量分别与所述第一部分文本和第二部分文本对应的语义特征向量之间较大的语义相似度确定所述局部匹配信息。4.如权利要求2所述的方法，其中，所述用于表征所述全局匹配信息和所述局部匹配信息之间的一致性的互信息损失项包括用于表征所述全局匹配信息的分布与所述局部匹配信息的分布之间的差异的互信息损失项。5.如权利要求4所述的方法，其中，所述训练样本集中还包括匹配信息标签，所述损失函数中还包括用于表征所述全局匹配信息与对应的匹配信息标签之间的差异的监督损失项。6.如权利要求1到5中任一所述的方法，其中，所述第一部分文本包括所述样本参考文本的标题，所述第二部分文本包括所述样本参考文本的关键词。
7.如权利要求6所述的方法，其中，所述语义特征向量生成模型应用于服务搜索，所述第一部分文本包括服务的名称，所述第二部分文本包括服务所涉及的功能的关键词。8.一种语义相似度确定方法，包括：将待查询文本和参考文本分别提供给语义特征向量生成模型，得到所述待查询文本和所述参考文本分别对应的语义特征向量，其中，所述参考文本的语义特征向量融合有基于所述参考文本提取的部分文本的信息；以及根据所述待查询文本和所述参考文本分别对应的语义特征向量，确定所述待查询文本和所述参考文本之间的语义相似度。9.如权利要求8所述的语义相似度确定方法，其中，所述语义特征向量生成模型通过如权利要求1到7中任一所述的方法训练得到。10.一种语义相似度确定方法，包括：对参考文本进行文本提取，得到与所述参考文本对应的第一部分文本和第二部分文本；将待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别提供给语义特征向量生成模型，得到所述待查询文本、所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本分别对应的语义特征向量；根据所述待查询文本对应的语义特征向量分别与所述参考文本、与所述参考文本对应的第一部分文本和第二部分文本对应的语义特征向量之间的相似度确定所述待查询文本与所述参考文本的全局匹配信息和局部匹配信息；以及根据所确定的全局匹配信息和局部匹配信息，确定所述待查询文本和所述参考文本之间的语义相似度。11.如权利要求10所述的语义相似度确定方法，其中，所述语义相似度确定方法应用于服务搜索，所述第一部分文本包括服务的名称，所述第二部分文本包括服务所涉及的功能的关键词。12.一种语义搜索方法，包括：接收用户提供的查询文本；根据如权利要求8到11中任一所述的语义相似度确定方法，确定所述查询文本和参考文本集中的各个参考文本之间的语义相似度；基于所述查询文本和各个参考文本之间的语义相似度，从所述参考文本集中确定出语义搜索结果；以及将所述语义搜索结果提供给所述用户。13.如权利要求12所述的语义搜索方法，其中，所述语义搜索方法应用于服务搜索，所述语义搜索结果包括与所述查询文本相匹配的服务页面。14.一种用于训练语义特征向量生成模型的装置，包括：样本获取单元，被配置为获取训练样本集，其中，所述训练样本集中包括样本待查询文本和样本参考文本；文本提取单元，被配置为对所述样本参考文本进行文本提取，得到与所述样本参考文本对应的第一部分文本和第二部分文本；以及训练单元，被配置为将所述训练样本集中的训练样本以及对应的第一部分文本和第二
部分文本提供给当前语义特征向量生成模型，得到分别与所述样本待查询文本、所述样本参考文本、所述第一部分文本和所述第二部分...

【专利技术属性】
技术研发人员：单虹毓，冯媛媛，卢宏亮，张祺深，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：