一种级联耦合的知识增强对话生成方法技术

本发明专利技术涉及自然语言处理领域，公开了一种级联耦合的知识增强对话生成方法，本发明专利技术通过对话生成模型的多路实体识别模块、混合负采样优化的实体选择模块、实体属性选择模块后能输出对话的意图实体和具体的实体属性，可以为后续的知识对话生成模块提供背景知识数据支撑。本发明专利技术设计的实体识别模块、实体选择模块、实体属性选择模块在形式上相互独立，没有重合的关系依赖，可以单独为各种实体识别、实体选择等任务提供服务，三个模块一起运作可以为对话任务生成背景实知识，提高生成对话的信息量。提高生成对话的信息量。提高生成对话的信息量。

【技术实现步骤摘要】
一种级联耦合的知识增强对话生成方法


[0001]本专利技术涉及自然语言处理领域，具体涉及一种级联耦合的知识增强对话生成方法。

技术介绍

[0002]对话系统的基本任务是模拟人类的日常交流，回复用户恰当的语句。由于其机器自动化的特性，能够代替昂贵的人工服务，解放劳动力，为社会运行节省成本。早期的对话系统是根据专家设计的特定语法规则来生成对话回复，缺乏灵活性，无法通过图灵测试。而随着互联网行业的迅速发展，微博、微信等平台为人们提供了虚拟化的交流平台，人们将很大比例的对话移步至PC端和移动端，因此可以得到海量的对话数据。2015年深度学习技术开始在计算机视觉、自然语言处理以及推荐搜索领域大放异彩，在很多任务上都能显著超越传统机器学习方法。海量的对话数据和发展迅速的深度学习技术相结合，孕育了基于端到端的seq2seq（Sequence to Sequence）模型，模型具有完全基于数据驱动、无需人为设计规则特征的优点，已成为自动化对话生成的主流技术。
[0003]神经网络对话生成系统无需指定语言的语法规则，完全基于数据驱动，它基于大规模文本语料库训练模型，优化最大似然估计概率。研究实验发现此类方法的生成结果中，某些通用回复的出现频率非常的高，例如“哈哈”、“我也是”等通用回复文本。这些通用的回复，虽然在实验评估时可以认为是一个可以接受的结果，但是在实际场景中，通用回复往往缺少对话上文的语义相关性和共情表达能力，严重影响用户体验感和参与感，使得用户最终失去耐心和兴趣。虽然基于序列到序列的对话生成系统可以生成语法正确的答案，但这些答案往往是通用的、缺乏实质信息的，而不是具体的、共情的。因此如何增强对话回复的信息量，如何保持对话生成的相关性是当前自然语言生成研究的一个难点。
[0004]当前基于seq2seq的对话模型，模型的训练过程实际上是学习特定条件下的词语的分布概率，但没有自主认知的能力；模型更多的是依赖训练语料的词语之间的共现关系来学习如何生成词语的分布概率。同时缺乏背景信息和相关知识的注释会导致模型生成对话的质量严重退化，导致模型产生的对话与人类的对话有很大的不同，模型往往会生成信息量低、重复乏味的回复。而知识图谱信息丰富、结构清晰，包含现实生活中的众多实体和实体的各种属性信息，它已经为推荐系统、自然语言理解、计算机视觉等领域提供了知识数据支撑，在对应知识领域能够提升模型的性能和增强可解释性，因此知识图谱能够为对话模型提供强有力的数据支持，进而提升模型的认知能力。
[0005]给定对话的上文信息和庞大的知识图谱中，寻找符合对话内容的知识三元组并且在此基础生成相应的对话回复是一项复杂困难的任务。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供一种级联耦合的知识增强对话生成方法，包括实体识别模块、实体选择模块、实体属性选择模块、知识对话生成模块。四个模块相互独立，
共同运作，构成知识驱动对话流水线，最终输出以知识图谱为背景信息的知识驱动对话回复。
[0007]为解决上述技术问题，本专利技术采用如下技术方案：一种级联耦合的知识增强对话生成方法，对话上下文，表示对话上下文中第i个句子，n为对话上下文中句子总数；知识图谱由多条知识三元组构成，其中表示实体名，表示属性名，表示属性值；通过对话生成模型并根据当前对话的对话上下文，从知识图谱中寻找与当前对话意图相关的知识三元组作为对话生成的背景信息，生成知识驱动的对话回复；对话生成模型包括：实体识别模块、实体选择模块、实体属性选择模块以及知识对话生成模块；实体识别模块，用于识别对话上文的句子中所有可能的实体作为候选实体；实体识别模块包括知识实体识别NER主模型，知识实体识别NER主模型通过BERT预训练模型和条件随机场识别对话上文中的实体，作为候选实体；实体选择模块，从候选实体中选择能够体现当前对话的话题意图的最佳实体，具体包括：将当前对话文本、候选实体和候选实体的所有属性名拼接后传入BERT预训练模型中，通过CLS向量并经过一层全连接网络，输出当前对话文本和各候选实体的匹配分数，将最高匹配分数对应的候选实体，作为能够体现当前对话的话题意图的最佳实体；实体属性选择模块，将去除最佳实体的实体名后的当前对话文本和最佳实体的各实体属性拼接后传入BERT预训练模型中，通过CLS向量并经过一层全连接网络，输出当前对话文本和各实体属性的匹配分数，将最高匹配分数对应的实体属性作为最佳实体属性；实体属性包括实体的属性名和属性值；知识对话生成模块，将对话上下文、最佳实体和最佳实体属性组成的知识三元组，进行拼接后输入BART预训练模型，生成对话回复。
[0008]具体地，知识实体识别NER主模型的训练过程包括以下步骤：步骤一、训练数据输入知识实体识别NER主模型，训练数据包括文本T和正确实体e；步骤二、根据正确实体e在文本T的位置，对文本进行BIOS编码，编码后的输出作为训练的标注标签；步骤三、文本T编码后的序列通过BERT预训练模型转换得到对应的隐向量v：；步骤四、通过条件随机场，输出最终的分布概率；步骤五、计算损失函数通过梯度下降法迭代优化BERT预训练模型和条件随机场的权重；为交叉熵损失函数。
[0009]具体地，实体识别模型还包括jieba分词筛选识别模型和规则筛选识别模型；
jieba分词筛选识别模型预先在jieba词表库中将知识图谱的所有实体名词的词性设置为“entity”，通过jieba分词筛选出对话上文中词性为“entity”的词语作为候选实体；规则筛选识别模型通过将对话上文中书名号和引号内的名词作为候选实体。
[0010]具体地，对实体选择模块的BERT预训练模型进行训练前，通过混合负采样方法确定需要的负样本，具体包括：（1）将实体识别模块输出的对话中的所有候选实体，除去正确实体后，所得到的候选实体添加到负样本集；（2）在正样本所在领域的实体集合中随机采样L个实体添加到负样本集。
[0011]具体地，实体选择模块和实体属性选择模块中BERT预训练模型采用的ERNIE预训练模型，损失函数；其中表示正样本分数，表示负样本分数，为模型预设的正样本和负样本的间距。
[0012]具体地，知识对话生成模块生成对话回复前，仅当判断出对话的话题意图需要加入知识时，才将对话上下文与知识三元组进行拼接后输入BART预训练模型，生成对话回复。
[0013]与现有技术相比，本专利技术的有益技术效果是：本专利技术通过对话生成模型的多路实体识别模块、混合负采样优化的实体选择模块、实体属性选择模块后能输出对话的意图实体和具体的实体属性，可以为后续的知识对话生成模块提供背景知识数据支撑。本专利技术设计的实体识别模块、实体选择模块、实体属性选择模块在形式上相互独立，没有重合的关系依赖，可以单独为各种实体识别、实体选择等任务提供服务，三个模块一起运作可以为对话任务生成背景实知识，提高生成对话的信息量。同时，三个模块组成的流水线知识抽取框架可以作为一个即插即用的插件框架，只需要提供相关领域的知识图谱数据集，即可为任意的对话文本提供参考外部知识，辅助模型生成信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种级联耦合的知识增强对话生成方法，其特征在于，对话上下文，表示对话上下文中第i个句子，n为对话上下文中句子总数；知识图谱由多条知识三元组构成，其中表示实体名，表示属性名，表示属性值；通过对话生成模型并根据当前对话的对话上下文，从知识图谱中寻找与当前对话意图相关的知识三元组作为对话生成的背景信息，生成知识驱动的对话回复；对话生成模型包括：实体识别模块、实体选择模块、实体属性选择模块以及知识对话生成模块；实体识别模块，用于识别对话上文的句子中所有可能的实体作为候选实体；实体识别模块包括知识实体识别NER主模型，知识实体识别NER主模型通过BERT预训练模型和条件随机场识别对话上文中的实体，作为候选实体；实体选择模块，从候选实体中选择能够体现当前对话的话题意图的最佳实体，具体包括：将当前对话文本、候选实体和候选实体的所有属性名拼接后传入BERT预训练模型中，通过CLS向量并经过一层全连接网络，输出当前对话文本和各候选实体的匹配分数，将最高匹配分数对应的候选实体，作为能够体现当前对话的话题意图的最佳实体；实体属性选择模块，将去除最佳实体的实体名后的当前对话文本和最佳实体的各实体属性拼接后传入BERT预训练模型中，通过CLS向量并经过一层全连接网络，输出当前对话文本和各实体属性的匹配分数，将最高匹配分数对应的实体属性作为最佳实体属性；实体属性包括实体的属性名和属性值；知识对话生成模块，将对话上下文、最佳实体和最佳实体属性组成的知识三元组，进行拼接后输入BART预训练模型，生成对话回复。2.根据权利要求1所述的级联耦合的知识增强对话生成方法，其特征在于：知识实体识别NER主模型的训练过程包括以下步骤：步骤一、训练数据输入知识实体识别NER主模型，训练数据包括文本T和正...

【专利技术属性】
技术研发人员：周世奉，程典，孙晓，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：