基于对比学习的多轮对话生成方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种基于对比学习的多轮对话生成方法、装置、设备及存储介质。所述方法包括：根据预设的正负样本配置规则，对预构建的语句文本进行分词及语气词删除操作，得到分词结果，并识别分词结果中的动名词集合；对所述分词结果进行命名实体识别，得到命名实体结果，并将所述动名词集合与所述命名实体结果进行并集排序，得到句式

【技术实现步骤摘要】
基于对比学习的多轮对话生成方法、装置、设备及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于对比学习的多轮对话生成方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]对话生成用于通过训练的语言模型，生成对话文本句子。常用于人机交互与提供大量语料文本的方法，是语音智能领域中的重要领域。如今，对话生成任务的生成对话过程都是限定在一个目标场景中，所以用户输入都会遵循一定的表达习惯，例如智能问诊中，病患大多会输入“胃绞痛我要怎么办”、“我要挂哪个科室”或“我要做什么检查”等话句，然后通过语言模型进行泛化，生成对话文本。
[0003]其中，传统语言模型因为“我要**”等相似表达习惯，生成的句子非常相似。但应当知道，上述话语尽管表达句式相近，但表达意图完全不同，，导致智能问诊时无法实现话术的准确生成。

技术实现思路

[0004]本专利技术提供一种基于对比学习的多轮对话生成方法、装置、设备及存储介质，其主要目的在于通过句式结构与实体信息相结合的方式，提高智能问诊时生成的对话在意图上的准确性。
[0005]为实现上述目的，本专利技术提供的一种基于对比学习的多轮对话生成方法，包括：
[0006]获取目标场景的语句文本，并根据预设的正负样本配置规则对所述语句文本进行分词及命名实体识别操作，得到分词结果和命名实体识别结果，并根据所述语句文本、所述分词结果及所述命名实体识别结果，构建正样本对及负样本对；
[0007]根据不同语句文本的正样本对及负样本对，对预构建的对话生成语言模型进行微调训练，得到句式
‑
实体增强对话生成模型；
[0008]利用所述句式
‑
实体增强对话生成模型，对所述目标场景的用户输入语句进行多轮对话生成，得到多轮对话文本。
[0009]可选的，所述根据预设的正负样本配置规则对所述语句文本进行分词及命名实体识别操作，得到分词结果和命名实体识别结果，并根据所述语句文本、所述分词结果及所述命名实体识别结果，构建正样本对及负样本对，包括：
[0010]根据预设的正负样本配置规则，对所述语句文本进行中文分词操作，并对进行语气词删除，得到分词结果，并对所述分词结果进行词性识别，筛选得到动名词集合；
[0011]对所述分词结果进行命名实体识别，得到命名实体结果，并根据所述语句文本中的字词顺序，将所述命名实体结果及所述动名词集合进行并集排序，得到所述语句文本的句式
‑
实体增强序列；
[0012]利用所述语句文本与所述句式
‑
实体增强序列，构建正样本对；
[0013]根据所述正负样本配置规则中的实体遮蔽方法及所述命名实体结果，替换所述语
句文本中的部分实体信息，得到实体变换文本，并利用所述语句文本及所述实体变换文本，构建负样本对。
[0014]可选的，所述根据不同语句文本的正样本对及负样本对，对预构建的对话生成语言模型进行微调训练，包括：
[0015]根据预设的配置规则，将所述正样本对的标签配置为1，将所述负样本对的标签配置为0；
[0016]依次从所述正样本对或所述负样本对中提取一个目标样本，利用预构建的对话生成语言模型中的BERT网络对所述目标样本对进行量化编码，得到文本量化矩阵及实体增强量化矩阵；
[0017]根据预设k值，对所述文本量化矩阵及所述实体增强量化矩阵进行k
‑
max池化操作，得到文本向量及实体增强向量；
[0018]利用余弦相似度算法，计算所述文本向量与所述实体增强向量的相似度，并利用InfoNCE loss算法，计算所述相似度与所述目标样本的标签之间的误差；
[0019]根据梯度下降方法，对所述误差进行网络逆向传播，微调所述BERT网络的模型参数。
[0020]可选的，所述对所述分词结果进行命名实体识别，得到命名实体结果，包括：
[0021]对所述分词结果进行量化编码，得到分词量化集合；
[0022]利用预构建的长短期记忆神经网络，对所述分词量化集合进行量化编码，得到上下文增强分词量化序列；
[0023]对所述上下文增强分词量化序列进行卷积及池化操作，得到文本特征集合，并利用条件随机场算法，根据预设的命名实体类型，对所述文本特征集合进行实体识别，得到命名实体结果。
[0024]可选的，所述对所述分词结果进行词性识别，筛选得到动名词集合，包括：
[0025]利用预构建的中文词性标注工具，对所述分词结果进行词性识别，得到词性集合，并对所述分词结果进行标注；
[0026]利用筛选引擎及预设的动名词的词性类型对标注后的分词结果进行查询，得到动名词集合。
[0027]可选的，所述利用所述句式
‑
实体增强对话生成模型，对所述目标场景的用户输入语句进行多轮对话生成，得到多轮对话文本，包括：
[0028]初始化预设的轮数为0，获取用户的期望轮数，并获取目标场景的用户输入语句，将所述用户输入语句输入所述句式
‑
实体增强对话生成模型中，得到所述用户输入语句的对话文本；
[0029]对所述轮数进行加一操作，并判断所述轮数是否等于所述期望轮数；
[0030]当所述轮数不等于所述期望轮数时，将所述对话文本与所述用户输入语句的集合导入所述句式
‑
实体增强对话生成模型中，得到新的对话文本；
[0031]当所述轮数等于所述期望轮数，将所述用户输入话语及所述对话文本进行顺序输出，得到多轮对话文本。
[0032]可选的，所述将所述用户输入语句输入所述句式
‑
实体增强对话生成模型中，得到所述用户输入语句的对话文本，包括：
[0033]利用所述句式
‑
实体增强对话生成模型中的BERT网络对所述用户输入语句进行量化编码，得到输入语句编码序列，并对所述输入语句编码序列进行特征提取及降维操作，得到输入语句特征集合；
[0034]利用所述句式
‑
实体增强对话生成模型中的GPT
‑
2的解码器，对所述输入语句特征集合进行文本生成，得到所述用户输入语句的对话文本。
[0035]为了解决上述问题，本专利技术还提供一种基于对比学习的多轮对话生成装置，所述装置包括：
[0036]正负样本对配置模块，用于获取目标场景的语句文本，并根据预设的正负样本配置规则对所述语句文本进行分词及命名实体识别操作，得到分词结果和命名实体识别结果，并根据所述语句文本、所述分词结果及所述命名实体识别结果，构建正样本对及负样本对；
[0037]微调训练模块，用于根据不同语句文本的正样本对及负样本对，对预构建的对话生成语言模型进行微调训练，得到句式
‑
实体增强对话生成模型；
[0038]对话生成模块，用于利用所述句式
‑
实体增强对话生成模型，对所述目标场景的用户输入语句进行多轮对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的多轮对话生成方法，其特征在于，所述方法包括：获取目标场景的语句文本，并根据预设的正负样本配置规则对所述语句文本进行分词及命名实体识别操作，得到分词结果和命名实体识别结果，并根据所述语句文本、所述分词结果及所述命名实体识别结果，构建正样本对及负样本对；根据不同语句文本的正样本对及负样本对，对预构建的对话生成语言模型进行微调训练，得到句式
‑
实体增强对话生成模型；利用所述句式
‑
实体增强对话生成模型，对所述目标场景的用户输入语句进行多轮对话生成，得到多轮对话文本。2.如权利要求1所述的基于对比学习的多轮对话生成方法，其特征在于，所述根据预设的正负样本配置规则对所述语句文本进行分词及命名实体识别操作，得到分词结果和命名实体识别结果，并根据所述语句文本、所述分词结果及所述命名实体识别结果，构建正样本对及负样本对，包括：根据预设的正负样本配置规则，对所述语句文本进行中文分词操作，并对进行语气词删除，得到分词结果，并对所述分词结果进行词性识别，筛选得到动名词集合；对所述分词结果进行命名实体识别，得到命名实体结果，并根据所述语句文本中的字词顺序，将所述命名实体结果及所述动名词集合进行并集排序，得到所述语句文本的句式
‑
实体增强序列；利用所述语句文本与所述句式
‑
实体增强序列，构建正样本对；根据所述正负样本配置规则中的实体遮蔽方法及所述命名实体结果，替换所述语句文本中的部分实体信息，得到实体变换文本，并利用所述语句文本及所述实体变换文本，构建负样本对。3.如权利要求1所述的基于对比学习的多轮对话生成方法，其特征在于，所述根据不同语句文本的正样本对及负样本对，对预构建的对话生成语言模型进行微调训练，包括：根据预设的配置规则，将所述正样本对的标签配置为1，将所述负样本对的标签配置为0；依次从所述正样本对或所述负样本对中提取一个目标样本，利用预构建的对话生成语言模型中的BERT网络对所述目标样本对进行量化编码，得到文本量化矩阵及实体增强量化矩阵；根据预设k值，对所述文本量化矩阵及所述实体增强量化矩阵进行k
‑
max池化操作，得到文本向量及实体增强向量；利用余弦相似度算法，计算所述文本向量与所述实体增强向量的相似度，并利用InfoNCE loss算法，计算所述相似度与所述目标样本的标签之间的误差；根据梯度下降方法，对所述误差进行网络逆向传播，微调所述BERT网络的模型参数。4.如权利要求2所述的基于对比学习的多轮对话生成方法，其特征在于，所述对所述分词结果进行命名实体识别，得到命名实体结果，包括：对所述分词结果进行量化编码，得到分词量化集合；利用预构建的长短期记忆神经网络，对所述分词量化集合进行量化编码，得到上下文增强分词量化序列；对所述上下文增强分词量化序列进行卷积及池化操作，得到文本特征集合，并利用条
件随机场算法，根据预设的命名实体类型，对所述文本特征集合进行实体识别，得到命名实体结果。5.如权利要求2所述的基于对比学习的多轮对...

【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：