一种基于中心句自决定的对话式问题排序方法及系统技术方案

本发明专利技术属于自然语言处理领域，提供了一种基于中心句自决定的对话式问题排序方法及系统。该方法包括，获取对话上下文和问题库，采用已训练的问题排序模型，得到问题排序得分，选取得分最高的问题以及该问题作为目标问题时识别出的中心句。本发明专利技术在模型设计上，通过先识别能够保证一致性与连贯性的中心句，然后随机删除其他句子来进行微调；在模型训练上，采用一种无监督的学习策略，来优化中心句的识别。本发明专利技术识别出中心句并用于指导微调任务的设计，提升了微调过程中对话上下文与明晰问题的一致性与连贯性。对中心句预测任务无监督的训练方式，减少了数据标注的人力物力，使得该方法得以广泛应用。方法得以广泛应用。方法得以广泛应用。

【技术实现步骤摘要】
一种基于中心句自决定的对话式问题排序方法及系统


[0001]本专利技术属于自然语言处理领域，尤其涉及一种基于中心句自决定的对话式问题排序方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]构建对话式信息获取系统(Conversational Information Seeking system,CIS)已经是一种新的趋势，最近几年得到了广泛关注。相对于传统的信息获取系统，例如搜索引擎，对话式信息获取系统的一个主要特征是混合驱动，即在用户意图不清晰时，通过主动询问用户明晰问题来帮助用户明晰意图。
[0004]现有的明晰问题生成工作分为两类：对话式问题生成(Conversational Question Generation,CQG)和对话式问题排序(Conversational Question Ranking,CQR)。给定对话上下文，对话式问题生成通过自前往后生成问题中的每个单词来生成明晰问题。这种方式往往能生成非常灵活、流畅的问题。但是该类方法生成问题的质量往往得不到保证，而且很容易生成具有攻击性、冒犯性的问题。
[0005]对话式问题排序则在预定义的问题库中选择一个合适的问题作为明晰问题。问题选择的过程是通过对每个问题进行打分，并选出得分最高的作为最终选择。由于预定义问题库中的问题往往是人工给定或选择出的，其质量往往能够得到保证。因此该类方法广泛应用于商用对话系统中，例如微软小冰。
[0006]已有的对话式问题排序工作通过设计各种模型微调策略(Fine
‑
tuning)来提升模型性能并取得了不错的效果。但是，这些工作在设计微调策略的过程中，往往对对话上下文中的句子进行随机操作，例如，随机删除对话上下文中句子来进行微调，这会破坏对话上下文与明晰问题间的一致性与连贯性，从而造成模型性能的下降。

技术实现思路

[0007]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于中心句自决定的对话式问题排序方法及系统，其能够保证对话上下文与明晰问题的一致性与连贯性。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]本专利技术的第一个方面提供一种基于中心句自决定的对话式问题排序方法。
[0010]一种基于中心句自决定的对话式问题排序方法，包括：
[0011]获取对话上下文和问题库，采用已训练的问题排序模型，得到问题排序得分，选取得分最高的问题以及该问题作为目标问题时识别出的中心句；
[0012]所述问题排序模型的训练过程包括：采用训练集，结合损失函数训练问题排序模型，得到在验证集上表现最优的模型作为原始模型，表现次优的模型作为影子模型；其中，训练集和验证集均包括：对话上下文、问题库和问题相关性标签；采用启发式方法，结合给
定的权重因子，计算对话上下文中的每个句子得分，选取原始模型得到的对话上下文中得分最高的句子作为识别出中心句，选取影子模型得到的对话上下文中得分最高的句子作为识别出另一中心句；以识别出中心句和识别出另一中心句尽可能相同为原则，结合损失函数，优化权重因子，直到权重因子收敛；根据原始模型和收敛后的权重因子，采用训练集，设计微调任务训练原始模型，得到训练好的问题排序模型。
[0013]进一步地，在训练问题排序模型之前包括，构建问题排序模型的过程：
[0014]基于对话上下文矩阵和问题库矩阵，采用BERT编码器，得到对话上下文矩阵和问题库矩阵的聚合特征；
[0015]基于所述聚合特征，采用全连接层，得到每个问题的得分以及该问题作为目标问题时识别出的中心句。
[0016]进一步地，所述损失函数包括，二分类交叉熵损失函数：
[0017][0018]其中，y
i
∈{0,1}为数据集中给定的问题相关性标签，f(U,Q
i
)表示问题得分，对话上下文U＝[U1,U2,
…
,U
l
]，问题库中的问题Q＝[Q1,Q2,
…
,Q
i
]。
[0019]进一步地，所述采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取原始模型得到的对话上下文中得分最高的句子作为识别出中心句，选取影子模型得到的对话上下文中得分最高的句子作为识别出另一中心句的过程具体包括：
[0020]基于原始模型，采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取对话上下文中得分最高的句子作为识别出中心句；
[0021]基于影子模型，采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取对话上下文中得分最高的句子作为识别出另一中心句。
[0022]进一步地，所述启发式方法包括：
[0023]采用留一法，对于对话上下文中第j个句子，通过留出该句子，计算该句子对于问题排序中目标问题Q
*
的得分：
[0024][0025]其中，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；U
‑
U
j
表示留出U
j
后的上下文；
[0026]进一步地，所述启发式方法还包括：采用独立法，对于对话上下文中第j个句子，通过单独衡量该句子的作用，计算该句子对于问题排序中目标问题Q
*
的得分：
[0027][0028]这里对话上下文只包含第j个句子，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；
[0029]进一步地，所述启发式方法还包括：采用上文法，对于对话上下文中第j个句子，通过衡量该句子在已知上文情况下的作用，计算该句子对于问题排序中目标问题Q
*
的得分：
[0030][0031]这里U
1:j
表示对话上下文中前j个句子，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；由于该方法无法衡量对话上下文中第1句U1的作用，故
[0032]进一步地，所述启发式方法还包括：采用下文法，对于对话上下文中第j个句子，通过衡量该句子在已知下文情况下的作用，计算该句子对于问题排序中目标问题Q
*
的得分：
[0033][0034]这里U
j:l
表示对话上下文中第j个句子到最后一个句子，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；由于该方法无法衡量对话上下文中最后一句U
l
的作用，故
[0035]进一步地，所述直到权重因子收敛的过程包括：
[0036]针对原始模型，基于给定的权重因子，计算对话上下文中每一个句子的得分，对于第j个句本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中心句自决定的对话式问题排序方法，其特征在于，包括：获取对话上下文和问题库，采用已训练的问题排序模型，得到问题排序得分，选取得分最高的问题以及该问题作为目标问题时识别出的中心句；所述问题排序模型的训练过程包括：采用训练集，结合损失函数训练问题排序模型，得到在验证集上表现最优的模型作为原始模型，表现次优的模型作为影子模型；其中，训练集和验证集均包括：对话上下文、问题库和问题相关性标签；采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取原始模型得到的对话上下文中得分最高的句子作为识别出中心句，选取影子模型得到的对话上下文中得分最高的句子作为识别出另一中心句；以识别出中心句和识别出另一中心句尽可能相同为原则，结合损失函数，优化权重因子，直到权重因子收敛；根据原始模型和收敛后的权重因子，采用训练集，设计微调任务训练原始模型，得到训练好的问题排序模型。2.根据权利要求1所述的基于中心句自决定的对话式问题排序方法，其特征在于，在训练问题排序模型之前包括，构建问题排序模型的过程：基于对话上下文矩阵和问题库矩阵，采用BERT编码器，得到对话上下文矩阵和问题库矩阵的聚合特征；基于所述聚合特征，采用全连接层，得到每个问题的得分以及该问题作为目标问题时识别出的中心句。3.根据权利要求1所述的基于中心句自决定的对话式问题排序方法，其特征在于，所述损失函数包括，二分类交叉熵损失函数：其中，t
i
∈{0,1}为数据集中给定的问题相关性标签，f(U,Q
i
)表示问题得分，对话上下文U＝[U1,U2,
…
,U
l
]，问题库中的问题Q＝[Q1,Q2,
…
,Q
i
]。4.根据权利要求1所述的基于中心句自决定的对话式问题排序方法，其特征在于，所述采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取原始模型得到的对话上下文中得分最高的句子作为识别出中心句，选取影子模型得到的对话上下文中得分最高的句子作为识别出另一中心句的过程具体包括：基于原始模型，采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取对话上下文中得分最高的句子作为识别出中心句；基于影子模型，采用启发式方法，结合给定的权重因子，计算对话上下文中的每个句子得分，选取对话上下文中得分最高的句子作为识别出另一中心句。5.根据权利要求1所述的基于中心句自决定的对话式问题排序方法，其特征在于，所述启发式方法包括：采用留一法，对于对话上下文中第j个句子，通过留出该句子，计算该句子对于问题排序中目标问题Q
*
的得分：其中，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；U
‑
U
j
表示留出U
j
后的上下文；或，所述启发式方法还包括：采用独立法，对于对话上下文中第j个句子，通过单独衡量
该句子的作用，计算该句子对于问题排序中目标问题Q
*
的得分：这里对话上下文只包含第j个句子，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；或，所述启发式方法还包括：采用上文法，对于对话上下文中第j个句子，通过衡量该句子在已知上文情况下的作用，计算该句子对于问题排序中目标问题Q
*
的得分：这里U
1:
表示对话上下文中前j个句子，f
θ
(
·
,
·
)为步骤1中的排序模型，参数为θ；由于该方法无法衡量对话上下文中第1句U1的作用，故或，所述启发式方法还包括：采用下文法，对于对话上下文中第j个句子，通过衡量该句子在已知下文情况下的作用，计算该句子对于问题排序中目标问题Q
*

【专利技术属性】
技术研发人员：任鹏杰，刘中坤，陈竹敏，宋晓萌，张佃磊，任昭春，
申请(专利权)人：山东大学，
类型：发明
国别省市：