基于UniLM模型和Copy机制的中文共情语句训练方法及系统技术方案

本发明专利技术属于面向中文的自然语言生成技术领域，提出了一种基于UniLM模型和Copy机制的中文共情语句训练方法及系统，针对共情回复和用户输入的上下文相关性不足、以及回复中包含情绪关键词和复杂事件细节的特殊性，使用Copy机制使输出能从输入中复制情绪关键词和复杂事件细节。同时，针对缺乏足量的、多样性的训练语料，对生成的共情回复进行综合评价，将符合预期标准的优质共情回复以及用户输入放入原始训练语料进行复式自动迭代训练，增强训练数据。本发明专利技术使提出在解码器中融合Copy机制，将情绪关键词和复杂事件细节复制到输出中来解决。针对中文心里对话具有共情能力的语料匮乏的问题，本发明专利技术采用复式自动迭代训练来增强训练数据。练数据。练数据。

【技术实现步骤摘要】
基于UniLM模型和Copy机制的中文共情语句训练方法及系统


[0001]本专利技术属于面向中文的自然语言生成
，尤其涉及一种基于UniLM和Copy机制的中文共情回复生成方法。

技术介绍

[0002]随着深度学习应用在各个领域中，智能会话系统也得到了快速发展。用户希望能和智能会话系统实现情感上的交流，而共情能达到这一目的。于是，共情回复生成应运而生。共情被卡尔
·
罗杰斯(Carl Ransom Rogers)定义为：在人际交往过程中，站在他人立场上想象他人的经历与逻辑，体会他人的想法与感受，从他人的视角看待问题并解决问题。共情回复生成是指智能会话系统通过历史会话判断用户的情感状态，从而生成体会到用户感受的情感回复。现有研究表明，具有共情能力的智能会话系统不仅能提高用户的满意度，而且能获得用户更多积极的反馈。
[0003]在心理健康咨询会话中，智能会话系统作为辅助工具能帮助咨询师解决部分任务，被认为是心理健康干预、辅助咨询诊断等服务应用的关键。因此，被赋予共情能力的智能会话系统逐渐成为研究热点。一个好的会话模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，将源序列中的情绪关键词和复杂事件细节复制到输出中；使用困惑度等评价标准对输出的共情回复进行评价，将符合预期的回复和用户陈述放入原始训练语料中进行复式自动迭代训练，得到进一步更新优化的共情回复生成模型。2.如权利要求1所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，具体包括如下步骤：步骤1，使用爬虫技术爬取心理对话领域具有共情能力的语料，并进行预处理，得到输入表示；步骤2，基于UniLM模型进行预训练，同时使用三种类型的语言模型，每种语言模型使用不同的自注意力掩码机制；步骤3，利用交叉熵损失函数计算损失，完成基于UniLM模型的预训练，得到共情回复生成模型；步骤4，基于UniLM模型进行共情回复生成任务，通过序列到序列语言模型的自注意力机制解码，得到词表概率分布；步骤5，在步骤4基础上构建包含Copy机制的解码器，引入生成概率和复制概率，优化步骤4中的词表概率分布；步骤6，将交叉熵损失函数作为模型的损失函数，利用BeamSearch算法得到生成的共情回复；步骤7，将生成的优质共情回复和用户的陈述放入步骤1的语料中，进一步基于UniLM模型进行复式自动迭代训练，得到更新优化后的共情回复生成模型。3.如权利要求2所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，步骤2具体包括：以BERT
‑
BASE预训练模型初始化参数；基于同一Transformer网络结构，以预测不同的MASK作为预训练目标，完成单向、双向以及序列到序列语言模型的预测任务，并均匀分配使用不同语言模型。4.如权利要求2所述的基于UniLM模型和Copy机制的中文共情回复生成方法，其特征在于，步骤4具体包括：利用序列到序列语言模型的自注意力掩码机制，随机MASK目标序列中的分词，并将序列末尾遮蔽，来学习何时停止生成共情回复；把给定上下文信息的情况下最大化分词的概率作为训练目标，使用MASK机制融合...

【专利技术属性】
技术研发人员：朱国华，姚盛根，胡晓莉，
申请(专利权)人：江汉大学，
类型：发明
国别省市：