任务型对话模型预训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种任务型对话模型预训练方法、装置、设备及存储介质。一种任务型对话模型预训练方法包括：获取历史对话记录中第一角色对话语句序列和第二角色对话语句序列，将所述第一角色对话语句序列、第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列，并将所述第一对话序列中的所有对话语句进行随机排序，得到第二对话序列，对所述第一对话序列、第二对话序列中的每一个单词进行词向量叠加，得到第一初始词表达向量序列和第二初始词表达向量序列并输入预置BERT模型，进行预训练。本预训练方法同任务型对话中的变量有效结合，从而能够提取到对话语句中的深层含义。

【技术实现步骤摘要】
任务型对话模型预训练方法、装置、设备及存储介质
本专利技术涉及人工智能领域，尤其涉及一种任务型对话模型预训练方法、装置、设备及存储介质。
技术介绍
具有自注意力编码结构的预训练模型已经被广泛的应用到许多NLP领域中。这些模型是基于大规模的通用文本语料库(如英语维基百科或书籍)进行自监督训练。预训练模型是一种迁移学习的应用，利用几乎无限的文本，学习输入句子的每一个成员的上下文相关的表示，它隐式地学习到了通用的语法语义知识。目前已经提出的预训练模型有BERT，RoBERTa，XLNet等。这些模型大多采用自监督的方式在开放领域数据中进行预训练，包括两种预训练方法：一种是面向单句子任务(比如文本分类等)的masklanguagemodel自监督方式，另一种是基于句对任务(比如语义推论，句子匹配等)的nextsentenceprediction自监督方式，由于普通文本和任务型对话之间的语言模式的潜在差异，现有的预训练方法无法同任务型对话系统中变量有效结合而难以提取对话中的深层含义。
技术实现思路
本专利技术的主要目的在于解决本文档来自技高网...

【技术保护点】
1.一种任务型对话模型预训练方法，其特征在于，所述任务型对话模型预训练方法包括：/n获取历史对话记录中第一角色对话语句序列，以及所述历史对话记录中的第二角色对话语句序列，其中，所述第一角色对话语句序列包括第一角色在多轮对话中的对话语句，所述第二角色对话语句序列包括第二角色在多轮对话中的对话语句；/n将所述第一角色对话语句序列中的所有对话语句与所述第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列，并将所述第一对话序列中的所有对话语句进行随机排序，得到第二对话序列；/n对所述第一对话序列的每一个单词和所述第二对话序列的每一个单词进行词向量叠加，得到所述第一对话序列的第一初始词表...

【技术特征摘要】
1.一种任务型对话模型预训练方法，其特征在于，所述任务型对话模型预训练方法包括：
获取历史对话记录中第一角色对话语句序列，以及所述历史对话记录中的第二角色对话语句序列，其中，所述第一角色对话语句序列包括第一角色在多轮对话中的对话语句，所述第二角色对话语句序列包括第二角色在多轮对话中的对话语句；
将所述第一角色对话语句序列中的所有对话语句与所述第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列，并将所述第一对话序列中的所有对话语句进行随机排序，得到第二对话序列；
对所述第一对话序列的每一个单词和所述第二对话序列的每一个单词进行词向量叠加，得到所述第一对话序列的第一初始词表达向量序列和所述第二对话序列的第二初始词表达向量序列；
将所述第一初始词表达向量序列和所述第二初始词表达向量序列输入预置BERT模型，进行预训练，其中，所述BERT模型用于预测对话属于第一对话序列和第二对话序列的概率分布。


2.根据权利要求1所述的任务型对话模型预训练方法，其特征在于，所述将所述第一角色对话语句序列中的所有对话语句与所述第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列包括：
将所述第二角色对话语句序列中的所有对话语句合并到所述第一角色对话语句序列中，得到对话样本序列；
按照对话角色顺序、对话轮次顺序，对所述对话样本序列中的对话语句进行排列，并在各对话语句之间插入预置时间分割符，得到第一对话序列。


3.根据权利要求1所述的任务型对话模型预训练方法，其特征在于，所述对所述第一对话序列的每一个单词和所述第二对话序列的每一个单词进行词向量叠加，得到所述第一对话序列的第一初始词表达向量序列和所述第二对话序列的第二初始词表达向量序列包括：
基于预置分词工具对所述第一对话序列中的语句和所述第二对话序列中的语句进行分词，得到所述第一对话序列对应的第一分词序列和所述第二对话序列对应的第二分词序列；
对所述第一分词序列中的任意分词和所述第二分词序列中的任意分词进行词向量叠加，得到所述第一分词序列的第一初始词表达向量序列和所述第二分词序列的第二初始词表达向量序列。


4.根据权利要求3所述的任务型对话模型预训练方法，其特征在于，所述词向量叠加使用的叠加向量至少包括词嵌入向量、词类型嵌入向量、词的位置嵌入向量、词对应的语句所属角色的角色嵌入向量、词对应的语句所属轮次的轮次嵌入向量。


5.根据权利要求1-4中任一项所述的任务型对话模型预训练方法，其特征在于，所述将所述第一初始词表达向量序列和所述第二初始词表达向量序列输入预置BERT模型，进行预训练包括：
对预置BERT模型进行初始化，并将所述第一初始词表达向量序列和所述第二初始词表达向量序列输入所述BERT模型；
通过所述BERT模型，对所述第一初始词表达向量序列和所述第二初始词表达向量序列进行自监督学习；
将预置对话语句输入所述B...

【专利技术属性】
技术研发人员：毛宇兆，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44