文本对话方法、装置及存储介质制造方法及图纸

本公开涉及一种文本对话方法、装置及存储介质，解决了相关技术在文本对话场景下，文本风格的转换依赖于使用大量不同语言风格平行语料进行模型训练的技术问题。本方法包括：取原始文本；将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。经过无监督语料预训练文本模型实现文本风格转换，无需使用不同语言风格的平行语料，并且通过对话语料微调后的文本模型还可文本对话。

【技术实现步骤摘要】
文本对话方法、装置及存储介质
本公开涉及机器学习
，尤其涉及一种文本对话方法、装置及存储介质。
技术介绍
在机器学习
中，机器学习是人工智能技术的一个重要方向，但未实现通过机器学习完成文本的风格转换。相关技术中通过构建大规模的平行语料数据集，从数据集中获取对齐语料，并通过对齐语料对seq2seq模型进行训练，以对seq2seq模型进行情感风格转换训练；根据应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，seq2seq模型输出相应情感风格的转换语料。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种文本对话方法、装置及存储介质。根据本公开实施例的第一方面，提供一种文本对话方法，包括：获取原始文本；将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。本文档来自技高网...

【技术保护点】
1.一种文本对话方法，其特征在于，所述方法包括：/n获取原始文本；/n将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。/n

【技术特征摘要】
1.一种文本对话方法，其特征在于，所述方法包括：
获取原始文本；
将所述原始文本输入到文本模型中，得到所述文本模型输出的所述原始文本的答复文本，其中，所述文本模型经过无监督语料进行预训练，并通过对话语料进行训练得到的，所述无监督语料中包括相同语言风格的语料，所述对话语料包括询问语料和作为询问语料的标签的答复语料。


2.根据权利要求1所述的方法，其特征在于，所述文本模型训练过程包括：
获取所述无监督语料和所述对话语料；
通过所述无监督语料对文本模型进行无监督预训练；
在所述预训练完成后，通过所述对话语料对文本模型进行训练，直到所述文本模型具有捕捉对话的能力，得到训练完成的文本模型。


3.根据权利要求2所述的方法，其特征在于，所述获取所述无监督语料和所述对话语料，包括：
获取具有相同语言风格的语料，并通过形式参数对所述获取到的语料中的上下句进行分隔，得到所述无监督语料；
获取所述询问语料和作为询问语料的标签的所述答复语料，并通过形式参数对所述询问语料和所述答复语料进行分隔，得到所述对话语料。


4.根据权利要求2所述的方法，其他特征在于，所述对话语料包括训练集以及验证集，所述通过所述对话语料对文本模型进行训练，直到所述文本模型具有捕捉对话的能力，得到训练完成的文本模型，包括：
通过所述训练集对所述文本模型训练预设次数，并通过所述验证集获取每一次训练后的文本模型的交叉熵；
将最小的所述交叉熵对应的文本模型作为所述训练完成的文本模型。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述文本模型为GPT2模型。


6.一种文本对话装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：崔志，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11