模型训练方法、问答实现方法、装置和计算设备制造方法及图纸

本说明书实施例公开了一种模型训练方法、问答实现方法、装置和计算设备。所述问答实现方法包括：将目标提问语句输入至语义表示模型，获得目标向量；将目标向量输入至与所述语义表示模型相连的向量搜索模型，获得参考向量，所述参考向量为向量集中与所述目标向量之间的距离满足预设条件的向量，所述向量集包括问答知识库中提问语句的向量，所述问答知识库包括具有对应关系的提问语句和答复语句；利用参考向量，基于所述问答知识库确定所述目标提问语句对应的答复语句。本说明书实施例可以快速地获得提问语句对应的答复语句。

【技术实现步骤摘要】
模型训练方法、问答实现方法、装置和计算设备
本说明书实施例涉及计算机
，特别涉及一种模型训练方法、问答实现方法、装置和计算设备。
技术介绍
随着科技的发展，人工智能技术的应用为人们的日常生活带来了各种便利。在一些场景下，用户需要与服务器进行互动式问答，以咨询一些问题并获得相应答案。相关技术中的一些智能问答系统，响应速度较慢，无法快速为用户提供答案。
技术实现思路
本说明书实施例提供一种模型训练方法、问答实现方法、装置和计算设备，以快速地获得与咨询问题相匹配的答案。本说明书实施例的第一方面，提供了一种模型训练方法，包括：将至少三个语句输入至语义表示模型，获得至少三个向量，所述至少三个语句包括至少两个用于表示第一语义的第一语句、以及至少一个用于表示第二语义的第二语句；根据所述至少三个向量，确定损失函数的取值，所述损失函数用于表示第一相似度与第二相似度之间的偏差程度，所述第一相似度用于表示第一语句之间语义的相似程度，所述第二相似度用于表示第一语句与第二语句之间语义的相似程度；根据损失函数的取值，确定所述语义表示模型的模型参数。本说明书实施例的第二方面，提供了一种问答实现方法，包括：将目标提问语句输入至语义表示模型，获得目标向量；将目标向量输入至与所述语义表示模型相连的向量搜索模型，获得参考向量，所述参考向量为向量集中与所述目标向量之间的距离满足预设条件的向量，所述向量集包括问答知识库中提问语句的向量，所述问答知识库包括具有对应关系的提问语句和答复语句；利用参考向量，基于所述问答知识库确定所述目标提问语句对应的答复语句。本说明书实施例的第三方面，提供了一种模型训练装置，包括：输入单元，用于将至少三个语句输入至语义表示模型，获得至少三个向量，所述至少三个语句包括至少两个用于表示第一语义的第一语句、以及至少一个用于表示第二语义的第二语句；第一确定单元，用于根据所述至少三个向量，确定损失函数的取值，所述损失函数用于表示第一相似度与第二相似度之间的偏差程度，所述第一相似度用于表示第一语句之间语义的相似程度，所述第二相似度用于表示第一语句与第二语句之间语义的相似程度；第二确定单元，用于根据损失函数的取值，确定所述语义表示模型的模型参数。本说明书实施例的第三方面，提供了一种问答实现装置，包括：第一输入单元，用于将目标提问语句输入至语义表示模型，获得目标向量；第二输入单元，用于将目标向量输入至与所述语义表示模型相连的向量搜索模型，获得参考向量，所述参考向量为向量集中与所述目标向量之间的距离满足预设条件的向量，所述向量集包括问答知识库中提问语句的向量，所述问答知识库包括具有对应关系的提问语句和答复语句；确定单元，用于利用参考向量，基于所述问答知识库确定所述目标提问语句的答复语句。本说明书实施例的第三方面，提供了一种计算设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如第一方面或者第二方面所述方法的指令。本说明书实施例提供的技术方案，可以将至少三个语句输入至语义表示模型，获得至少三个向量；可以根据所述至少三个向量，确定损失函数的取值；可以根据损失函数的取值，确定所述语义表示模型的模型参数。所述损失函数用于表示第一相似度与第二相似度之间的偏差程度，所述第一相似度用于表示第一语句之间语义的相似程度，所述第二相似度用于表示第一语句与第二语句之间语义的相似程度。第一语句之间的语义较接近，第一语句和第二语句之间的语义相差大。这样可以在少量的训练样本下，使语义表示模型达到较高的准确性。另外，通过相连的语义表示模型和向量搜索模型，可以快速地获得提问语句对应的答复语句。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例中问答模型的结构示意图；图2为本说明书实施例中模型训练方法的流程示意图；图3为本说明书实施例中模型训练过程的示意图；图4为本说明书实施例中问答实现方法的流程示意图；图5为本说明书实施例中问答实现过程的示意图；图6为本说明书实施例中模型训练装置的结构示意图；图7为本说明书实施例中问答实现装置的结构示意图；图8为本说明书实施例中计算设备的结构示意图。具体实施方式下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。请参阅图1。本说明书实施例提供一种问答模型。所述问答模型包括相连接的语义表示模型和向量搜索模型。所述语义表示模型可以将语句转换为向量。所述向量能够用于表示语句的语义。向量之间的距离能够度量语句之间语义的相似程度。例如，向量之间的距离越小，语句之间的语义越接近。所述语义表示模型可以为ERNIE(EnhancedRepresentationKnowledgeIntegration)模型，所述ERNIE模型可以包括Transformer编码器、隐藏层和自注意力头(Self-AttentionHeads)等。当然，所述语义表示模型还可以为其它的模型，例如还可以为BERT(BidirectionalEncoderRepresentationsfromTransformers)模型。所述向量搜索模型用于从向量集中寻找与目标向量相似的向量。所述向量搜索模型可以基于最近邻搜索算法(NearestNeighborSearch，NN)实现。所述最近邻搜索算法可以包括HNSW(HierarchicalNavigableSmallWorld)算法、KD树算法等等。请参阅图2和图3。本说明书实施例提供一种模型训练方法。所述模型训练方法可以用于训练所述语义表示模型。所述模型训练方法可以应用于服务器。所述服务器可以为单个服务器、由多个服务器构成的服务器集群、或者部署在云端的服务器。所述模型训练方法可以包括以下步骤。步骤S11：将至少三个语句输入至语义表示模型，获得至少三个向量。在一些实施例中，所述至少三个语句可以包括至少两个第一语句、以及至少一个第二语句。所述至少两个第一语句可以用于表示第一语义。所述至少一个第二语句可以用于表示第二语义。所述第一语义和所述第二语义不同。使得，第一语句之间的语义较接近，第二语句与第一语句之间的语义相差较大。在一些实施例中，所述第一语句和所述第二语句可以选自样本集。所述样本集可以包括多个子集。每本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n将至少三个语句输入至语义表示模型，获得至少三个向量，所述至少三个语句包括至少两个用于表示第一语义的第一语句、以及至少一个用于表示第二语义的第二语句；/n根据所述至少三个向量，确定损失函数的取值，所述损失函数用于表示第一相似度与第二相似度之间的偏差程度，所述第一相似度用于表示第一语句之间语义的相似程度，所述第二相似度用于表示第一语句与第二语句之间语义的相似程度；/n根据损失函数的取值，确定所述语义表示模型的模型参数。/n

【技术特征摘要】
1.一种模型训练方法，包括：
将至少三个语句输入至语义表示模型，获得至少三个向量，所述至少三个语句包括至少两个用于表示第一语义的第一语句、以及至少一个用于表示第二语义的第二语句；
根据所述至少三个向量，确定损失函数的取值，所述损失函数用于表示第一相似度与第二相似度之间的偏差程度，所述第一相似度用于表示第一语句之间语义的相似程度，所述第二相似度用于表示第一语句与第二语句之间语义的相似程度；
根据损失函数的取值，确定所述语义表示模型的模型参数。


2.如权利要求1所述的方法，所述语义表示模型包括ERNIE模型；所述第一语句和所述第二语句为提问语句；所述第一语义和所述第二语义为提问语句的语义。


3.如权利要求1所述的方法，所述确定损失函数的取值，包括：
根据至少两个第一语句的向量，计算第一相似度；
根据第一语句的向量和第二语句的向量，计算第二相似度；
根据第一相似度和第二相似度，确定损失函数的取值。


4.如权利要求1或3所述的方法，所述将至少三个语句输入至语义表示模型，包括：
将三个语句输入至语义表示模型，获得三个向量，所述三个语句包括两个用于表示第一语义的第一语句、以及一个用于表示第二语义的第二语句；
根据公式Loss＝max{similarity(V1,V3)-similarity(V1,V2)+α,0}，确定损失函数的取值，其中，V1表示一个第一语句的向量，V2表示另一个第一语句的向量，V3表示第二语句的向量，similarity(V1,V2)表示第一相似度，similarity(V1,V3)表示第二相似度，α表示系数。


5.一种问答实现方法，包括：
将目标提问语句输入至语义表示模型，获得目标向量；
将目标向量输入至与所述语义表示模型相连的向量搜索模型，获得参考向量，所述参考向量为向量集中与所述目标向量之间的距离满足预设条件的向量，所述向量集包括问答知识库中提问语句的向量，所述问答知识库包括具有对应关系的提问语句和答复语句；
利用参考向量，基于所述问答知识库确定所述目标提问语句对应的答复语句。


6.如权利要求5所述的方法，所述语义表示模型包括ERNIE模型；
所述向量搜索模型包括HNSW模型。


7.如权利要求5所述的方法，所述问答知识库包括多个问答集，每个问答集包括至少一个...

【专利技术属性】
技术研发人员：卢健，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11