模型训练方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种模型训练方法、装置、设备和存储介质，该方法包括：获取多组问题对，其中，每组问题对包括用户输入问题以及参考问题，每组问题中的用户输入问题与参考问题是语义相关的；确定不同组问题对中用户输入问题之间的第一相关度，以及确定不同组问题对中参考问题之间的第二相关度；基于第一相关度和第二相关度，对多组问题对进行滤除；将经过滤除处理的问题对作为训练样本，对语言模型进行训练。采用本发明专利技术实施例提供的方法训练出的语言模型能够更好地建模用户输入问题和参考问题之间的深层语义关系，即使用户在输入问题的过程中掺杂了非必要的描述，语言模型也依然能够根据用户输入问题的深层语义关系匹配到正确的参考问题。确的参考问题。确的参考问题。

【技术实现步骤摘要】
模型训练方法、装置、设备和存储介质


[0001]本专利技术涉及机器学习模型
，尤其涉及一种模型训练方法、装置、设备和存储介质。

技术介绍

[0002]随着科技的发展，依靠人力完成的工作越来越多的交给了机器来完成。例如，可以通过人机对话功能让机器根据用户问的问题自动输出答案。相关技术中，是通过字词匹配的方法在问题数据库中，为用户问的问题匹配语义相近的参考问题，然后将参考问题对应的答案输出给用户。字词匹配的方法较为简单，但是如果用户使用比较复杂的描述来说明问题，则很难再通过字词匹配的方法找到与用户问的问题相匹配的参考问题。

技术实现思路

[0003]本专利技术实施例提供一种模型训练方法、装置、设备和存储介质，用以实现即使用户在输入问题的过程中掺杂了非必要的描述，依然能够为用户输入的问题匹配到正确的参考问题。
[0004]第一方面，本专利技术实施例提供一种模型训练方法，该方法包括：
[0005]获取多组问题对，其中，每组问题对包括用户输入问题以及参考问题，每组问题中的用户输入问题与参考问题是语义相关的；
[0006]确定不同组问题对中用户输入问题之间的第一相关度，以及确定不同组问题对中参考问题之间的第二相关度；
[0007]基于所述第一相关度和所述第二相关度，对所述多组问题对进行滤除；
[0008]将经过滤除处理的问题对作为训练样本，对语言模型进行训练。
[0009]第二方面，本专利技术实施例提供一种模型训练装置，包括：
[0010]获取模块，用于获取多组问题对，其中，每组问题对包括用户输入问题以及参考问题，每组问题中的用户输入问题与参考问题是语义相关的；
[0011]确定模块，用于确定不同组问题对中用户输入问题之间的第一相关度，以及确定不同组问题对中参考问题之间的第二相关度；
[0012]滤除模块，用于基于所述第一相关度和所述第二相关度，对所述多组问题对进行滤除；
[0013]训练模块，用于将经过滤除处理的问题对作为训练样本，对语言模型进行训练。
[0014]第三方面，本专利技术实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的模型训练方法。
[0015]第四方面，本专利技术实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面中的模型训练方法。
[0016]采用本专利技术实施例提供的方法训练出的语言模型能够更好地建模用户输入问题和参考问题之间的深层语义关系。由于避免使用字词匹配的方法为用户输入问题匹配参考问题，因此即使用户在输入问题的过程中掺杂了非必要的描述，语言模型也依然能够根据用户输入问题的深层语义关系匹配到正确的参考问题。为了进一步提高语言模型的性能，在本专利技术实施例中还对随机抽取的问题对进行过滤，这样使得不存在同一参考问题对应着多个用户输入问题的情况以及不存在不同参考问题语义相关的情况，这样可以优化模型训练效果，使得语言模型能够更为准确地为用户输入问题匹配到正确的参考问题。
附图说明
[0017]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例提供的一种问题匹配方法的流程图示意图；
[0019]图2为本专利技术实施例提供的一种语言模型的结构示意图；
[0020]图3为本专利技术实施例提供的一种模型训练方法的流程图示意图；
[0021]图4为本专利技术实施例提供的一种语言模型的结构示意图；
[0022]图5为本专利技术实施例提供的一种模型训练装置的结构示意图；
[0023]图6为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
[0026]取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0027]另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
[0028]本专利技术实施例提供了一种模型训练方法，训练的模型可以称为语言模型，训练方法可以在电子设备中执行。其中，电子设备可以包括商用服务机器人、扫地机器人、洗地机、厨房机器人、智能音箱、智能手机等具有语音识别、控制功能、能够进行语音交互的设备。
[0029]实际应用中，当用户输入问题时，用户输入的问题可能不是按照标准规则编辑的，因此需要先在问题数据库中为用户输入的问题匹配对应的目标参考问题，其中，问题数据库中存储有大量的按照标准规则预先编辑的参考问题。问题数据库中的每个参考问题都预
设有对应的回复信息，因此在确定出目标参考问题之后，可以查找目标参考问题对应的目标回复信息，将目标回复信息返回给用户作为用户输入的问题的回复内容。
[0030]如图1所示，为用户输入的问题匹配对应的目标参考问题的过程可以实现为：用户输入问题；将用户输入的问题输入到语言模型中，语言模型将用户输入的问题转换为第一语义向量；预先通过语言模型将问题数据库中的所有参考问题转换为第二语义向量；计算第一语义向量和各第二语义向量对应的相关度；排序模型在第二语义向量中确定和第一语义向量相关度最高的目标语义向量；确定目标语义向量对应的目标参考问题；输出目标参考问题。
[0031]可以理解的是，当语言模型的性能较优时，基于语言模型输出的语义向量可以更为精准地为用户输入的问题匹配到语义相关的参考问题，进而实现答是所问，并提高人机对话的流畅性。因此，本专利技术实施例旨在提供一种提高语言模型性能的训练方法，采用本专利技术实施例提供的方法训练得到的语言模型，能够精准地为用户输入的问题匹配语义相关的参考问题。
[0032]语言模型训练的过程可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取多组问题对，其中，每组问题对包括用户输入问题以及参考问题，每组问题中的用户输入问题与参考问题是语义相关的；确定不同组问题对中用户输入问题之间的第一相关度，以及确定不同组问题对中参考问题之间的第二相关度；基于所述第一相关度和所述第二相关度，对所述多组问题对进行滤除；将经过滤除处理的问题对作为训练样本，对语言模型进行训练。2.根据权利要求1所述的方法，其特征在于，在基于所述第一相关度和所述第二相关度，对所述多组问题对进行滤除之后，所述方法还包括：基于经过滤除处理的不同组问题对中的用户输入问题和非参考问题，生成多组第一负样本问题对；所述将经过滤除处理的问题对作为训练样本，对语言模型进行训练，包括：将经过滤除处理的问题对和所述多组第一负样本问题对作为训练样本，对语言模型进行训练。3.根据权利要求2所述的方法，其特征在于，在将经过滤除处理的问题对和所述多组第一负样本问题对作为训练样本，对语言模型进行训练之前，所述方法还包括：基于未经过滤除处理的问题对中的用户输入问题和非参考问题，生成多组第二负样本问题对；将所述未经过滤除处理的问题对和所述多组第二负样本问题对作为训练样本，对语言模型进行训练；所述将经过滤除处理的问题对和所述多组第一负样本问题对作为训练样本，对语言模型进行训练，包括：将经过滤除处理的问题对和所述多组第一负样本问题对作为训练样本，对所述语言模型进行优化训练。4.根据权利要求3所述的方法，其特征在于，所述确定不同组问题对中用户输入问题之间的第一相关度，以及确定不同组问题对中参考问题之间的第二相关度，包括：将所述多组问题对中的用户输入问题分别输入到优化训练前的语言模型中的第一转换子模型中，得到所述多组问题对中的用户输入问题各自对应的第一语义向量；基于所述第一语义向量，确定不同组问题对中用户输入问题之间的第一相关度；将所述多组问题对中的参考问题分别输入到所述优化训练前的语言模型中的第二转换子模型中，得到所述多组问题对中的参考问题各自对应的第二语义向量；基于所述第二语义向量，确定不同组问题对中参考问题之间的第二相关度。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一语义向量，确定不同组问题对中用户输入问题之间的第一相关度，包括：确定不同组问题对中每两个用户输入问题对应的第一语义向量之间的第一余弦距离，作为不同组问题...

【专利技术属性】
技术研发人员：谢韬，秦昌博，
申请(专利权)人：科沃斯商用机器人有限公司，
类型：发明
国别省市：