联合多任务学习的对话情感分类和对话行为识别方法技术

本发明专利技术具体涉及联合多任务学习的对话情感分类和对话行为识别方法，包括：获取包含各个说话者语句的待测对话文本；将待测对话文本输入经过训练的预测模型中，输出待测对话文本各个语句的预测情感标签和预测行为标签；预测模型捕捉说话者随时间变化的情感线索和行为线索；将情感任务和行为任务进行有向无环图传播以对话的信息传播，并在每次有向无环图传播后对情感任务和行为任务进行交互；最后预测待测对话文本各个语句的预测情感标签和预测行为标签；基于待测对话文本对话情感分类和对话行为识别的结果分析说话者的情感和行为。本发明专利技术能够按照对话时间顺序建模说话者的信息，并能够充分建模整个对话的上下文信息。能够充分建模整个对话的上下文信息。能够充分建模整个对话的上下文信息。

【技术实现步骤摘要】
联合多任务学习的对话情感分类和对话行为识别方法


[0001]本专利技术涉及自然语言处理
，具体涉及联合多任务学习的对话情感分类和对话行为识别方法。

技术介绍

[0002]对话情感分类(Dialogue sentiment classification,DSC)和对话行为识别(Dialogue act recognition,DAR)是对话系统中两个具有挑战性的任务。DSC旨在预测对话中每个语句的情感标签(如积极、消极和中性等)，DAR旨在预测每个语句的行为标签(如同意、询问和陈述等)，通过对话情感分类和对话行为识别的结果能够分析说话者的情感和行为，这能够用于对话系统生成适当的共情回复，也可以用于一些舆情分析、心理咨询和热点观察等。
[0003]申请人发现，DSC和DAR这两项任务密切相关，可以通过共同执行而相互促进。在早期的工作中，现有技术提出了多任务框架来联合建模这两个任务，其中两个任务共享一个编码器，以此来隐式建模两个任务的相关性。然而简单的多任务学习框架只是通过共享潜在表示来隐式地建模两个任务之间的相互联系，无法取得理想的结果，甚至低于一些独立建模两个任务的工作。同时，现有技术中还出现了将对话行为、谓词和情感的识别整合到统一的模型中，明确建模两个任务之间的相互作用，但他们的框架仅考虑当前的语句。最近，现有技术中出现了通过上下文感知的动态卷积网络来捕获关键局部上下文的技术方案以及交互图框架，其中，相同任务内语句连接和不同任务间语句连接的全连通图被构造并迭代更新，实现了在一个统一的体系结构中同时建模上下文信息和交互信息。
[0004]然而，上述现有方案虽然产生了显著的效果，但是他们还存在一些缺陷：1)现有方案没有按照对话时间顺序建模说话者的信息。现有说话者感知的编码器只是简单地构建了一个连接相同说话者的无向图再进行图传播，而没有考虑时间顺序，也没有单独建模说话者的情感和行为线索，导致对话情感分类和对话行为识别的准确性偏低。2)对整个对话的上下文建模不充分。现有方案仅是将图注意力网络(GAT)应用于一个无向的图，该图是一个任务内的上下文语句和跨任务的语句构成的全连通图，无法区分相同还是不同说话者之间的互动关系，导致对话情感分类和对话行为识别的有效性不好。因此，如何设计一种能够按照对话时间顺序建模说话者信息且能够充分建模整个对话上下文表示的方法是亟需解决的技术问题。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种联合多任务学习的对话情感分类和对话行为识别方法，以能够按照对话时间顺序建模说话者的信息，并能够充分建模整个对话的上下文信息，从而能够提高对话情感分类和对话行为识别的准确性和有效性，进而能够更好的分析说话者的情感和行为，以应用于共情回复、舆情分析、心理咨询和热点观察等领域。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0007]联合多任务学习的对话情感分类和对话行为识别方法，包括以下步骤：
[0008]S1：获取包含各个说话者语句的待测对话文本；
[0009]S2：将待测对话文本输入经过训练的预测模型中，输出待测对话文本各个语句的预测情感标签和预测行为标签；
[0010]预测模型首先编码得到待测对话文本的语句初始表示；然后基于语句初始表示捕捉说话者随时间变化的情感线索和行为线索，得到对话情感和对话行为的初始表示序列；其次分别将对话情感和对话行为的初始表示序列作为情感任务和行为任务来进行有向无环图传播以模拟对话的信息传播，并在每次有向无环图传播后对情感任务和行为任务进行交互，最终得到情感表示序列和行为表示序列；最后通过情感表示序列和行为表示序列预测待测对话文本各个语句的预测情感标签和预测行为标签；
[0011]S3：将预测模型输出的各个语句的预测情感标签和预测行为标签作为待测对话文本对话情感分类和对话行为识别的结果；
[0012]S4：基于待测对话文本对话情感分类和对话行为识别的结果分析说话者的情感和行为。
[0013]优选的，步骤S2中，通过如下步骤训练预测模型：
[0014]S201：将作为训练样本的对话文本输入至预测模型中；
[0015]S202：将对话文本中各个语句的单词进行单词编码，得到各个语句的语句表示序列；然后对各个语句的语句向量序列进行平均池化操作，得到各个语句的语句总体表示；最后基于各个语句的语句总体表示得到对话文本的语句初始表示；
[0016]S203：基于对话文本的语句初始表示得到各个说话者的语句表示序列；然后将各个说话者的语句表示序列输入对应的双向门控循环单元，得到各个说话者感知的语句表示；其次基于各个说话者感知的语句表示映射得到对话文本的感知语句表示；最后将对话文本的感知语句表示输入两个单独的双向门控循环单元，得到对话情感和对话行为的初始表示序列；
[0017]S204：将对话情感和对话行为的初始表示序列作为情感任务和行为任务，并分别输入至两个单独的具有若干个有向无环图传播层的无环图网络中传播以模拟对话的信息传播；然后将两个任务在对应有向无环图传播层的输出进行交互；最后分别将两个任务在各个有向无环图传播层的输出进行拼接，得到最终的情感表示序列和行为表示序列；
[0018]S205：基于最终的情感表示序列和行为表示序列分别计算情感分类和行为识别的交叉熵损失、监督对比损失和CRF损失，然后基于情感分类和行为识别的交叉熵损失、监督对比损失和CRF损失联合训练预测模型；
[0019]S206：重复执行步骤S201至S205，直至预测模型收敛。
[0020]优选的，步骤S201中，对话文本U＝{u1,u2,
…
,u
N
}由N个语句u
i
组成；每个语句的原始输入是一个单词序列，即u
i
＝{w
i,1
,w
i,2
,
…
,w
i,n
}，其中n表示语句的长度。
[0021]优选的，步骤S202中，具体包括：
[0022]1)将对话文本U中各个语句u
i
的各个单词w
i,j
映射到向量表示；
[0023]2)通过双向门控循环单元生成各个单词w
i,j
的隐藏状态h
i,j
，即对单词w
i,j
进行编码，进而得到单词编码后语句u
i
的语句向量序列{h
i,1
,
…
,h
i,n
}；
[0024][0025][0026][0027]式中：φ
emb
(
·
)表示嵌入函数；||表示拼接操作；和分别表示第i个语句u
i
中第j个单词w
i,j
的前向表示和后向表示；
[0028]3)对语句u
i
的语句向量序列{h...

【技术保护点】

【技术特征摘要】
1.联合多任务学习的对话情感分类和对话行为识别方法，其特征在于，包括以下步骤：S1：获取包含各个说话者语句的待测对话文本；S2：将待测对话文本输入经过训练的预测模型中，输出待测对话文本各个语句的预测情感标签和预测行为标签；预测模型首先编码得到待测对话文本的语句初始表示；然后基于语句初始表示捕捉说话者随时间变化的情感线索和行为线索，得到对话情感和对话行为的初始表示序列；其次分别将对话情感和对话行为的初始表示序列作为情感任务和行为任务来进行有向无环图传播以模拟对话的信息传播，并在每次有向无环图传播后对情感任务和行为任务进行交互，最终得到情感表示序列和行为表示序列；最后通过情感表示序列和行为表示序列预测待测对话文本各个语句的预测情感标签和预测行为标签；S3：将预测模型输出的各个语句的预测情感标签和预测行为标签作为待测对话文本对话情感分类和对话行为识别的结果；S4：基于待测对话文本对话情感分类和对话行为识别的结果分析说话者的情感和行为。2.如权利要求1所述的联合多任务学习的对话情感分类和对话行为识别方法，其特征在于：步骤S2中，通过如下步骤训练预测模型：S201：将作为训练样本的对话文本输入至预测模型中；S202：将对话文本中各个语句的单词进行单词编码，得到各个语句的语句表示序列；然后对各个语句的语句向量序列进行平均池化操作，得到各个语句的语句总体表示；最后基于各个语句的语句总体表示得到对话文本的语句初始表示；S203：基于对话文本的语句初始表示得到各个说话者的语句表示序列；然后将各个说话者的语句表示序列输入对应的双向门控循环单元，得到各个说话者感知的语句表示；其次基于各个说话者感知的语句表示映射得到对话文本的感知语句表示；最后将对话文本的感知语句表示输入两个单独的双向门控循环单元，得到对话情感和对话行为的初始表示序列；S204：将对话情感和对话行为的初始表示序列作为情感任务和行为任务，并分别输入至两个单独的具有若干个有向无环图传播层的无环图网络中传播以模拟对话的信息传播；然后将两个任务在对应有向无环图传播层的输出进行交互；最后分别将两个任务在各个有向无环图传播层的输出进行拼接，得到最终的情感表示序列和行为表示序列；S205：基于最终的情感表示序列和行为表示序列分别计算情感分类和行为识别的交叉熵损失、监督对比损失和CRF损失，然后基于情感分类和行为识别的交叉熵损失、监督对比损失和CRF损失联合训练预测模型；S206：重复执行步骤S201至S205，直至预测模型收敛。3.如权利要求2所述的联合多任务学习的对话情感分类和对话行为识别方法，其特征在于：步骤S201中，对话文本U＝{u1,u2,
…
,u
N
}由N个语句u
i
组成；每个语句的原始输入是一个单词序列，即u
i
＝{w
i,1
,w
i,2
,
…
,w
i,n
}，其中n表示语句的长度。4.如权利要求2所述的联合多任务学习的对话情感分类和对话行为识别方法，其特征在于：步骤S202中，具体包括：1)将对话文本U中各个语句u
i
的各个单词w
i,j
映射到向量表示；
2)通过双向门控循环单元生成各个单词w
i,j
的隐藏状态h
i,j
，即对单词w
i,j
进行编码，进而得到单词编码后语句u
i
的语句向量序列{h
i,1
,
…
,h
i,n
}；}；}；式中：φ
emb
(
·
)表示嵌入函数；||表示拼接操作；和分别表示第i个语句u
i
中第j个单词w
i,j
的前向表示和后向表示；3)对语句u
i
的语句向量序列{h
i,1
,
…
,h
i,n
}中所有单词表示进行平均池化，得到语句u
i
的语句总体表示e
i
；e
i
＝avg_pool(h
i,1
,
…
,h
i,n
)；式中：avg_pool表示平均池化操作；4)基于对话文本中各个语句的语句总体表示得到对话文本的语句初始表示E＝{e1,
…
,e
N
}。5.如权利要求4所述的联合多任务学习的对话情感分类和对话行为识别方法，其特征在于：步骤S203中，具体包括：1)对于对话文本U＝{u1,u2,
…
,u
N
}，说话者X的所有语句序列表示为说话者Y的所有语句序列表示为L
X
和L
Y
分别表示两个序列包含的语句数，即L
X
+L
Y
＝N；基于对话文本的语句初始表示E得到说话者X和Y的语句表示序列和其中，和表示映射函数，用于分别将语句和映射到对话文本U中对应语句的索引；2)将E
X
和E
Y
分别输入至双向门控循环单元，得到说话者X和Y各个语句的语句表示；对于说话者X和Y第j个语句和先得到语句和的前向语句表示和后向语句表示，进而拼接得到语句和的语句表示和对于说话者X：对于说话者X：对于说话者X：式中：和分别表示说话者X第j个语句的前向语句表示和后向语句表示；3)分别基于说话者X和Y各个语句的语句表示，得到说话者X和Y的感知语句表示和4)将说话者X和Y的感知语句表示P
X
和P
Y
按照对话文本U中原语句序列的顺序映射回去，得到对话文本U的感知语句表示P＝{p1,
…
,p
N
}；
5)分别将对话文本U的说话者感知语句表示P输入至两个单独的双向门控循环单元，得到对话情感的初始表示序列S＝{s1,
…
,s
N
}和对话行为的初始表示序列A＝{a1,
…
,a
N
}；S＝Bi
‑
LSTM
s
(P)；A＝Bi
‑
LSTM
a
(P)。6.如权利要求5所述的联合多任务学习的对话情感分类和对话行为识别方法，其特征在于：步骤S204中，具体包括：1)情感任务：对于对话情感的初始表示序列S＝{s1,
…
,s
N
}；首先通过语句u
i
在(l
‑
1)层的隐藏状态和语句u
i
在(l)层的前驱语句u
j
的隐藏状态计算语句u
i
与其前驱语句u
j
之间第(l)层的注意力权重之间第(l)层的注意力权重式中：W

【专利技术属性】
技术研发人员：朱小飞，刘思进，彭展望，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：