基于UniLM模型和Copy机制的中文共情语句训练方法及系统技术方案

本发明专利技术属于面向中文的自然语言生成技术领域，提出了一种基于UniLM模型和Copy机制的中文共情语句训练方法及系统，针对共情回复和用户输入的上下文相关性不足、以及回复中包含情绪关键词和复杂事件细节的特殊性，使用Copy机制使输出能从输入中复制情绪关键词和复杂事件细节。同时，针对缺乏足量的、多样性的训练语料，对生成的共情回复进行综合评价，将符合预期标准的优质共情回复以及用户输入放入原始训练语料进行复式自动迭代训练，增强训练数据。本发明专利技术使提出在解码器中融合Copy机制，将情绪关键词和复杂事件细节复制到输出中来解决。针对中文心里对话具有共情能力的语料匮乏的问题，本发明专利技术采用复式自动迭代训练来增强训练数据。练数据。练数据。

【技术实现步骤摘要】
基于UniLM模型和Copy机制的中文共情语句训练方法及系统


[0001]本专利技术属于面向中文的自然语言生成
，尤其涉及一种基于UniLM和Copy机制的中文共情回复生成方法。

技术介绍

[0002]随着深度学习应用在各个领域中，智能会话系统也得到了快速发展。用户希望能和智能会话系统实现情感上的交流，而共情能达到这一目的。于是，共情回复生成应运而生。共情被卡尔
·
罗杰斯(Carl Ransom Rogers)定义为：在人际交往过程中，站在他人立场上想象他人的经历与逻辑，体会他人的想法与感受，从他人的视角看待问题并解决问题。共情回复生成是指智能会话系统通过历史会话判断用户的情感状态，从而生成体会到用户感受的情感回复。现有研究表明，具有共情能力的智能会话系统不仅能提高用户的满意度，而且能获得用户更多积极的反馈。
[0003]在心理健康咨询会话中，智能会话系统作为辅助工具能帮助咨询师解决部分任务，被认为是心理健康干预、辅助咨询诊断等服务应用的关键。因此，被赋予共情能力的智能会话系统逐渐成为研究热点。一个好的会话模型，它的输入和输出之间必然具有极强的上下文相关性。上下文相关性是指用户的输入和模型的输出二者之间的相互关系。目前，主流的回复生成方法是基于深度学习的序列到序列方法，或者是基于预训练模型。
[0004]传统的序列到序列的编码器端主要是RNN、LSTM等。相比于Transformer，RNN、LSTM等在语义提取特征方面能力不够，并且在长距离依赖上有所欠缺。虽然基于Transformer的各类语言模型生成的回复可读性高于RNN、LSTM等，但还是存在生成细节不准确而造成上下文不相关的问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提出一种基于UniLM模型和Copy机制的中文共情语句训练方法。
[0006]本专利技术是这样实现的，一种基于UniLM模型和Copy机制的中文共情回复生成方法，融合Copy机制的目的是将源序列中的情绪关键词和复杂事件细节复制到输出中；然后使用困惑度等评价标准对输出的共情回复进行评价，将符合预期的回复和用户陈述放入原始训练语料中进行复式自动迭代训练，得到进一步更新优化的共情回复生成模型。
[0007]本专利技术采用的技术方案是基于UniLM模型和Copy机制的中文共情回复生成方法，具体包括如下步骤：
[0008]步骤1，使用爬虫技术爬取心理对话领域具有共情能力的语料，并进行预处理，得到输入表示；
[0009]步骤2，基于UniLM模型进行预训练，同时使用三种类型的语言模型，每种语言模型使用不同的自注意力掩码机制；
[0010]步骤3，利用交叉熵损失函数计算损失，完成基于UniLM模型的预训练，得到共情回
复生成模型；
[0011]步骤4，基于UniLM模型进行共情回复生成任务，通过序列到序列语言模型的自注意力机制解码，得到词表概率分布；
[0012]步骤5，在步骤4基础上构建包含Copy机制的解码器，引入生成概率和复制概率，优化步骤4中的词表概率分布；
[0013]步骤6，将交叉熵损失函数作为模型的损失函数，利用BeamSearch算法得到生成的共情回复；
[0014]步骤7，将生成的优质共情回复和用户的陈述放入步骤1的语料中，进一步基于UniLM模型进行复式自动迭代训练，得到更新优化后的共情回复生成模型。
[0015]进一步，所述每次输入两个文本序列Segment1，记作s1和Segment2，记作s2，例如：“[CLS]脑子里总会想一些自己非常讨厌的人或事[SEP]了解到你因为纠结生活中的负面事件、遗忘积极事件而感到困惑和不解[SEP]”。[CLS]标记序列开端，[SEP]标记序列结尾，文本序列对通过三种Embedding得到输入表示。
[0016]进一步，所述UniLM模型由12层Transformer结构堆叠，每层Transformer的隐藏层都有768个隐藏节点、12个头，结构和BERT
‑
BASE一样，因此可以由训练好的BERT
‑
BASE模型初始化参数。UniLM模型能同时完成三种预训练目标，可以完成单向训练语言模型、双向训练语言模型、序列到序列语言模型的预测任务，使模型能够应用自然语言生成任务。针对不同的语言模型，采取不同的MASK机制，MASKING方式：总体比例15％，其中80％的情况下直接用[MASK]替代，10％的情况下随机选择词典中一个词替代，最后10％的情况用真实值，不做任何处理。还有就是80％的情况是每次只MASK一个词，另外20％的情况是MASK掉两个词bigram或者三个词trigram。对于要预测的MASK，单向语言模型使用一侧的上下文，例如预测序列"X1X2[MASK]X4"中的掩码，仅仅只有X1,X2和它自己的信息可用，X4的信息是不可用的。双向语言模型从两个方向编码上下文信息，以"X1X2[MASK]X4"为例子，其中X1,X2,X4及自己的信息都可用。序列到序列语言模型中，若MASK在S1中，则只能编码S1的上下文信息；若MASK在S2中，则它可获得MASK左侧，包括S1的上下文信息。
[0017]进一步，所述Transformer网络输出的文本表征输入Softmax分类器，预测被掩盖的词，对预测分词和原始分词使用交叉熵损失函数，优化模型参数，完成预训练。
[0018]进一步，所述通过随机掩盖掉目标序列中一定比例的分词，使用序列到序列语言模型学习恢复被掩盖的词，其训练目标是基于上下文信息最大化被掩盖分词的概率。目标序列结尾的[SEP]也可以被掩盖掉，让模型学习什么时候终止生成目标序列。模型使用MASK机制，结合注意力机制得到文本特征向量，将其输入到全连接层，得到词表概率分布。
[0019]进一步，所述词表概率分布输入全连接层和Sigmoid层，得到生成概率。再引入复制概率，结合生成概率和复制概率，得到更新改进的词表概率分布。
[0020]进一步，所述使用交叉熵损失函数完成模型的微调任务，并使用Beam Search算法生成共情回复。
[0021]进一步，所述使用困惑度、BLEU
‑
4、F1和专家评价等四种评价指标对步骤6生成的共情回复做出综合评价，将符合预期标准的共情回复以及用户输入自动放入步骤1的原始语料中进行复式自动迭代训练，增强训练数据，得到更新优化后的中文共情回复生成模型。
[0022]本专利技术的目的在于针对基于Transformer网络生成的共情回复无法生成情绪关键
词、复杂事件细节的问题，提出在解码器中融合Copy机制，将情绪关键词和复杂事件细节复制到输出中来解决。
[0023]本专利技术的另一目的在于针对中文心里对话具有共情能力的语料匮乏的问题，本专利技术采用复式自动迭代训练来增强训练数据。
[0024]结合上述的技术方案和解决的技术问题，请从以下几方面分析本专利技术所要保护的技术方案所具备的优点及积极本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，将源序列中的情绪关键词和复杂事件细节复制到输出中；使用困惑度等评价标准对输出的共情回复进行评价，将符合预期的回复和用户陈述放入原始训练语料中进行复式自动迭代训练，得到进一步更新优化的共情回复生成模型。2.如权利要求1所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，具体包括如下步骤：步骤1，使用爬虫技术爬取心理对话领域具有共情能力的语料，并进行预处理，得到输入表示；步骤2，基于UniLM模型进行预训练，同时使用三种类型的语言模型，每种语言模型使用不同的自注意力掩码机制；步骤3，利用交叉熵损失函数计算损失，完成基于UniLM模型的预训练，得到共情回复生成模型；步骤4，基于UniLM模型进行共情回复生成任务，通过序列到序列语言模型的自注意力机制解码，得到词表概率分布；步骤5，在步骤4基础上构建包含Copy机制的解码器，引入生成概率和复制概率，优化步骤4中的词表概率分布；步骤6，将交叉熵损失函数作为模型的损失函数，利用BeamSearch算法得到生成的共情回复；步骤7，将生成的优质共情回复和用户的陈述放入步骤1的语料中，进一步基于UniLM模型进行复式自动迭代训练，得到更新优化后的共情回复生成模型。3.如权利要求2所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，步骤2具体包括：以BERT
‑
BASE预训练模型初始化参数；基于同一Transformer网络结构，以预测不同的MASK作为预训练目标，完成单向、双向以及序列到序列语言模型的预测任务，并均匀分配使用不同语言模型。4.如权利要求2所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，步骤4具体包括：利用序列到序列语言模型的自注意力掩码机制，随机MASK目标序列中的分词，并将序列末尾遮蔽，来学习何时停止生成共情回复；把给定上下文信息的情况下最大化分词的概率作为训练目标，使用MASK机制融合...

【专利技术属性】
技术研发人员：朱国华，姚盛根，胡晓莉，
申请(专利权)人：江汉大学，
类型：发明
国别省市：