【技术实现步骤摘要】
一种结合混合式模型的会话内容生成方法
[0001]本专利技术涉及开放域多轮对话领域，尤其涉及一种结合混合式模型的会话内容生成方法
。
技术介绍
[0002]近年来，随着计算机技术的发展以及人工智能技术的发展，大量可用的会话数据以及会话人工智能神经方法蓬勃发展，开发智能会话系统成为一个大的趋势和领域
。
会话系统主要着重于人与智能之间的会话交互
。
早在上个世纪五十年代，就有图灵测试使用人机对话类似实验去判定机器的智能化程度，开启了研究者们在探索人与智能会话方面的全新的大门
。
由于人工智能技术以及深度学习模型技术的高速发展，同时结合上硬件的超强算力，再加上互联网时代带来的海量数据，使得智能会话系统领域涌现出一批批实用的领域性产品
。
伴随着互联网技术的高速发展，以及人类对高科技产品的狂热追求，智能会话系统成为了人们生活的一项不可或缺的助力器
。
[0003]现在，大多数会话内容生成模型都为检索或者生成模型，而基于检索方法受限于检索语料库的...
【技术保护点】
【技术特征摘要】
1.
一种结合混合式模型的会话内容生成方法，其特征在于，包括以下步骤：
S1
：获取训练语料，并采用自然语言处理工具对训练数据集进行解析处理，获得上下文语句以及回复语句的情境信息，同时构造细粒度的上下文语境，并使用常识知识图谱，检索出语句中的邻居概念实体，用作外部知识增强，具体包括：
S11
：对训练数据集中的会话上下文语句以及回复语句进行分词，获得句子分词结果；
S12
：通过句子分词结果查询情境词典，获得三元组分数，作为该分词所包含的情境状态信息；
S13
：同时将会话上下文语句和回复语句分割为句数更少的上下文回复对，并同时将句子分词结果中筛选出概念实体，通过查询常识知识图谱，找到概念实体的邻居实体，并将邻居实体信息作为外部信息嵌入；
S2
：使用中文预训练语言生成模型，并分别将所述训练数据集的上下文文本和回复文本以及邻居实体信息输入所述预训练语言模型进行编码，获得文本上下文向量，将向量进行解码，获取到生成的回复，具体包括：
S21
：将会话语境中的语料按照实际情况进行分组，构建多个子上下文语境，用作后续训练；
S22
：将常识知识图谱进行结合，通过嵌入对应的邻居实体语义信息，来提升生成回复语句的语义丰富度；
S23
：将邻居实体集合，上下文回复语句拼接起来，从三个维度进行嵌入，得到输入向量；
S24
：将输入向量输入到预训练语言生成模型中，解码后生成回复语句；
S3
：使用会话检索模型，并分别将所述训练数据集的上下文语句和回复语句及其情境信息输入到所述检索模型中，编码得到聚合评分向量，然后获得上下文与回复的匹配分数，具体包括：
S31
：将所述的训练集上下文语句以及回复语句中的词汇进行表征，使用预训练的词向量以及词汇本身的字符嵌入；
S32
：将所述会话文本对应的情境状态信息进行编码，同时使用多个双向长短记忆网络来进行编码，对每个输入的句子进行递归编码，得到情境状态信息矩阵和句子编码信息矩阵；
S33
：将情境状态信息矩阵和句子编码信息矩阵输入到检索模型中的交叉注意力匹配层中，利用所述信息进行上下文和回复之间的交互进行注意力计算，并且融入各自的情境状态信息后重新构造对方的表征，得到重构计算后的新矩阵作为新的表征，以此交叉融合相互之间的匹配信息；
S34
：将重构后的上下文表征以及回复表征进行下一步聚合，使用双向长短记忆网络在词粒度上以及句粒度上进一步捕捉两者之间的时序关系，即分别以句向量矩阵和词向量矩阵进行矩阵计算，得到最终的匹配特征向量；
S35
：将得到的特征向量通过多层感知机模型转化为最终的会话上下文语句和回复语句的匹配分数；
S4
：使用混合式方法，将检索模型中得到的聚合评分向量来辅助生成，得到最终生成的回复语句，具体包括：
S41
：将检索模型中的上下文语句聚合信息与回复语句聚合信息进行拼接；
S42
：将拼接后的聚合信息与原上下文语句和回复语句一同输入到会话生成模型中；
S43
：将预训练语言生成模型中堆叠后的最后一层连续输出作为输出回复
。2.
根据权利要求1所述的会话内容生成方法，其特征在于，所述进行分词的工具为结巴
NLP
分词工具，使用过程中，通过
cut
方法，输入训练集中的待分词语句，设置词典和停用词后，将分词后的结果以
JSON
文件格式保存，获得句子分词结果；所述情境词典为
NRC
词典，每个词语都能在词典中进行检索，并且能检索出相应的情境分数，该分数从三个维度来进行表示，通过检索情境词典，最终得到一个由3个0到1之间的离散值表示的三元组，作为该分词所包含的情境状态信息
。3.
根据权利要求2所述的会话内容生成方法，其特征在于，步骤
S13
具体如下：训练数据中原始上下文语句为
U1,U2,U3,...,U
n
，语句个数为
n
，粒度
K
代表了上下文回复对中回复语句的密度，即回复语句的个数，一般
K
值可以依据具体数据集情况进行设置
。
将原始上下文语句
U1,U2,U3,...,U
n
分割为
l
K
组上下文回复对，
l
K
的计算过程如下：将会话上下文语句
U1,U2,U3,...,U
n
中其中一个语句
U1提取，其中语句
U1由
m
个词汇组成，包括其中有的词汇作为概念实体在常识知识图谱中能被检索到，常识知识图谱以文件的形式在开源网站获取，图谱由边和点组成，各个点代表着各个实体信息，边代表着实体之间的关系，将语句
U1中能被检索到的概念实体集合提取出来，有
t
个已检索概念实体
e1,e2,...,e
t
，根据阈值
η
进行筛选，阈值
η
为检索邻居实体的跳数，默认设置为1；其中，图谱中两个点有直接相连的边，则代表这两个实体为跳数为1的邻居实体，即和当前实体相邻的概念实体，得到最后的可用邻居实体集合，最后将可用邻居实体集合与实体
e1进行串联，作为辅助嵌入信息
。4.
根据权利要求3所述的会话内容生成方法，其特征在于，步骤
S3
中表征与编码的操作方法如下：为了更好的进行表...
【专利技术属性】
技术研发人员：秦科，卢国明，罗光春，解修蕊，邵帅，戴岭，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。