基于阅读理解的多领域对话状态追踪方法和装置制造方法及图纸

本发明专利技术提供一种基于阅读理解的多领域对话状态追踪方法和装置，所述方法包括以下步骤：接收当前用户对话文本；基于对话历史、当前用户对话文本的插槽和对应的自然语言描述生成分别针对复制型插槽和分类型插槽的输入序列，送入XLNET编码器进行编码，分别获得复制型插槽编码和分类型插槽编码；利用神经网络得到复制型插槽和分类型插槽的槽值在输入序列中的起始与结束位置；基于复制型插槽编码和分类型插槽编码利用分类器分别进行预测复制型插槽槽位状态和分类型插槽槽位状态预测，基于预测结果确定是否进行相应槽值的预测，在需要进行槽值的预测的情况下基于所述起始与结束位置确定相应槽值；基于确定的槽值生成系统对话。话。话。

【技术实现步骤摘要】
基于阅读理解的多领域对话状态追踪方法和装置


[0001]本专利技术涉及自然语言处理领域，具体是一种基于机器阅读理解的多领域对话状态追踪方法和装置，可应用到自动问答等领域。

技术介绍

[0002]当前，自动化的面向任务对话系统被越来越多地应用到实际场景中，如订票业务、酒店预订、帮用户寻找视频等等场景，面向任务对话系统可以减少客户支持的成本，这是几乎每项业务中必不可少的服务。对话状态跟踪(Dialogue State Tracking，DST)是面向任务对话系统的核心组件之一，随着对话状态跟踪挑战赛的发展,它已经逐渐成为研究的热点。对话状态可以被认为是给定对话历史，记录用户目标的结构化数据。对于每个对话轮次，对话状态通常包括一组用户提到的所有插槽
‑
值对，如图1中虚线框中所示。准确的DST对于面向任务的对话框至关重要，因为大多数对话系统都依靠这种状态来预测最佳的下一个系统操作，例如数据库查询或自然语言生成(NLG)响应。
[0003]在适用范围较为广泛的多领域对话系统中，用户通常在对话中请求不同的领域服务，例如，如图1所示，在旅馆领域进行旅馆预订的时候，可能需要转到出租车领域要求乘坐出租车前往旅馆，在这种情况下要求对话系统在所有这些领域服务之间无缝运行。另一方面，随着业务的发展，对话系统可能会在不确定的时间上线新的服务；而多领域对话服务提供商，则需要时时准备新领域厂商的入驻、新服务的提交，这就要求对话系统可以随时接入新的领域服务。而现有的以某个领域为训练目标导向的对话状态跟踪器通常需要获取足够带注释的对话，以涵盖所有可能的对话流程。然而，不仅最初的带注释的对话系统购买成本昂贵，而且由于人为错误、注释的延迟、约定不一致和规范化问题，使得正确、及时的对话标注非常具有挑战性。
[0004]如何高效地进行多领域的对话状态追踪，提高对话模型的泛化能力，是一个有待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供了一种基于阅读理解的多领域对话状态追踪方法和装置，将机器阅读理解的方法分别以不同方式拓展到分类型插槽、复制型插槽，来解决现有技术中存在的一个或多个问题。
[0006]本专利技术的一个方面，提供了一种基于阅读理解的多领域对话状态追踪方法，该方法包括以下步骤：
[0007]接收当前用户对话文本；
[0008]基于对话历史、当前用户对话文本的插槽和对应的自然语言描述生成分别针对复制型插槽和分类型插槽的输入序列，送入XLNET编码器进行编码，分别获得复制型插槽编码和分类型插槽编码；
[0009]利用神经网络得到复制型插槽和分类型插槽的槽值在输入序列中的起始与结束
位置；
[0010]基于复制型插槽编码和分类型插槽编码利用分类器分别进行预测复制型插槽槽位状态和分类型插槽槽位状态预测，基于预测结果确定是否进行相应槽值的预测，在需要进行槽值的预测的情况下基于所述起始与结束位置确定相应槽值；
[0011]基于确定的槽值生成系统对话。
[0012]在本专利技术一些实施方式中，所述方法还包括：在接收的当前用户对话文本长度达到预定阈值的情况下，对所述当前用户对话文本进行预处理，所述预处理包括滑动窗口分段处理。
[0013]在本专利技术一些实施方式中，复制型插槽的输入序列包括以下类型的输入信息：对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记；分类型插槽的输入序列包括以下类型的输入信息：取值候选列表、对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记。
[0014]在本专利技术一些实施方式中，所述第一特殊标记为“[SEP]”标记，所述第二标记为“[CLS]”界定符；
[0015]所述取值候选列表为：V＝[v1，...，v
l
，...，v
m
，v
dontcare
，v
unk
]，其中，v
l
表示对话提及的问题对应的答案的可能值列表，m为答案数，v
dontcare
和v
unk
分别表示对话提及了问题但用户不在乎答案的情况以及对话提及了问题但用户不知道相关答案的情况；
[0016]所述复制型插槽编码包括基于复制型插槽信息的上下文表征和复制型插槽基于标记符号token的表征；
[0017]所述分类型插槽编码包括基于分类型插槽信息的上下文表征和分类型插槽基于标记符号token的表征。
[0018]在本专利技术一些实施例中，所述基于复制型插槽编码和分类型插槽编码利用分类器分别进行复制型插槽槽位状态和分类型插槽槽位状态的预测，包括复制型插槽槽位状态预测步骤和分类型插槽槽位状态预测步骤；
[0019]所述复制型插槽槽位状态预测步骤基于如下公式将所述基于复制型插槽信息的上下文表征利用三路分类器进行状态映射，得到复制型插槽在三个状态上的概率分布，基于得到的概率分布预测复制型插槽的槽位状态：
[0020]P
non
‑
gate
＝softmax(W
non
‑
gate
*g([r
cls
，r
start
])
T
)；
[0021]其中，P
non
‑
gate
表示复制型插槽在各个状态上的概率分布，W
non
‑
gate
为可训练的模型参数，g([r
cls
，r
start
])
T
为线性变换函数，该线性变换函数符合以下公式：
[0022]g(x)＝tanh(W*x
T
+b)；
[0023]其中，W、b是可训练的模型参数；
[0024]所述分类型插槽槽位状态预测步骤基于如下公式将所述基于分类型插槽信息的上下文表征利用二路分类器进行状态映射，得到分类型插槽在两个状态上的概率分布，基于得到的概率分布预测分类型插槽的槽位状态：
[0025][0026]其中，P
have_ans
表示分类型插槽在各个状态上的概率分布，W
have_ans
为可训练的模型
参数，为线性变换函数，该线性变换函数符合以下公式：
[0027]g(x)＝tanh(W*x
T
+b)；
[0028]其中，W、b是可训练的模型参数。
[0029]在本专利技术一些实施例中，所述三个状态包括：第一状态、第二状态和第三状态，在所述复制型插槽的槽位状态为第一状态时，指示不进行槽值的预测；在所述复制型插槽的槽位状态为第二状态时，指示从对话历史中进行槽值的预测；在所述复制型插槽的槽位状态为第三状态时，指示不进行槽值的预测，且直接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于阅读理解的多领域对话状态追踪方法，其特征在于，该方法包括：接收当前用户对话文本；基于对话历史、当前用户对话文本的插槽和对应的自然语言描述生成分别针对复制型插槽和分类型插槽的输入序列，送入XLNET编码器进行编码，分别获得复制型插槽编码和分类型插槽编码；利用神经网络得到复制型插槽和分类型插槽的槽值在输入序列中的起始与结束位置；基于复制型插槽编码和分类型插槽编码利用分类器分别进行预测复制型插槽槽位状态和分类型插槽槽位状态预测，基于预测结果确定是否进行相应槽值的预测，在需要进行槽值的预测的情况下基于所述起始与结束位置确定相应槽值；基于确定的槽值生成系统对话。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在接收的当前用户对话文本长度达到预定阈值的情况下，对所述当前用户对话文本进行预处理，所述预处理包括滑动窗口分段处理。3.根据权利要求1所述的方法，其特征在于，复制型插槽的输入序列包括以下类型的输入信息：对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记；分类型插槽的输入序列包括以下类型的输入信息：取值候选列表、对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记。4.根据权利要求3所述的方法，其特征在于，所述第一特殊标记为“[SEP]”标记，所述第二标记为“[CLS]”界定符；所述取值候选列表为：V＝[v1,
…
,v
l
,
…
,v
m
,v
dontcare
,v
unk
]，其中，v
l
表示对话提及的问题对应的答案的可能值列表，m为答案数，v
dontcare
和v
unk
分别表示对话提及了问题但用户不在乎答案的情况以及对话提及了问题但用户不知道相关答案的情况；所述复制型插槽编码包括基于复制型插槽信息的上下文表征和复制型插槽基于标记符号token的表征；所述分类型插槽编码包括基于分类型插槽信息的上下文表征和分类型插槽基于标记符号token的表征。5.根据权利要求4所述的方法，其特征在于，所述基于复制型插槽编码和分类型插槽编码利用分类器分别进行复制型插槽槽位状态和分类型插槽槽位状态的预测，包括复制型插槽槽位状态预测步骤和分类型插槽槽位状态预测步骤；所述复制型插槽槽位状态预测步骤基于如下公式将所述基于复制型插槽信息的上下文表征利用三路分类器进行状态映射，得到复制型插槽在三个状态上的概率分布，基于得到的概率分布预测复制型插槽的槽位状态：P
non
‑
gate
＝softmax(W
non
‑
gate
*g([r
cls
，r
start
])
T
)；其中，P
non
‑
gate
表示复制型插槽在各个状态上的概率分布，W
non
‑
gate
为可训练的模型参数，g([r
cls
,r
start
])
T
为线性变换函数，该线性变换函数符合以下公式：g(x)＝tanh(W*x
T
+b)；
其中，W、b是可训练的模型参数；所述分类型插槽槽位状态预测步骤基于如下公式将所述基于分类型插槽信息的上下文表征利用二路分类器进行状态映射，得到分类型插槽在两个状态上的概率分布，基于得到的概率分布预测分类型插槽的槽位状态：其中，P
have_ans
表示分类型插槽在各个状态上的概率分布，W
have_ans
为可训练的模型参数，为线性变换函数，该线性变换函数符合以下公式：g(x)＝tanh(W*x
T
+b)；其中，W、b是可训练的模型参数。6.根据权利要求5所述的方法，其特征在于，所述三个状态包括：第一状态、第二状态和第三状态，在所述复制型插槽的槽位状态为第一状态时，指示不进行槽值的预测；在所述复制型插槽的槽位状态为第二状态时，指示从对话历史中进行槽值的预测；在所述复制型插槽的槽位状态为第三状态时，指示不进行槽值的预测，且直接输出用于表示插槽不被在意的特定槽值；所述两个状态包括：第四状态和第五状态，在所述分类型插槽的槽位状态为第四状态时，指示不进行槽值的预测；在所述分类型插槽的槽位状态为第五状态时，...

【专利技术属性】
技术研发人员：熊永平，罗卫冬，张用，张磊，徐翀，王冠群，魏冠元，
申请(专利权)人：国网山东省电力公司电力科学研究院国网能源研究院有限公司，
类型：发明
国别省市：