对话文本的处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种对话文本的处理方法、装置、电子设备及存储介质，该方法包括：获取第一文本序列；通过文本处理模型获取所述第一文本序列的文本特征，并根据所述文本特征得到第二文本序列，第二文本序列为最近一轮对话的对话文本对应的指代消解文本，文本处理模型包括编码器及解码器，编码器用于获取第一文本序列的第一自注意力特征，解码器用于根据第一自注意力特征获取第二自注意力特征，所述编码器及解码器均为通过基于自注意力机制的自然语言处理模型进行预训练得到的。本申请实施例公开的对话文本的处理方法、装置、电子设备及存储介质，能够准确识别对话文本中代词所实际指代的对象，提高了对于对话文本的处理能力。

【技术实现步骤摘要】
对话文本的处理方法、装置、电子设备及存储介质
本申请涉及人工智能
，具体涉及一种对话文本的处理方法、装置、电子设备及存储介质。
技术介绍
在人工智能
中，自然语言处理(NaturalLanguageProcessing，NLP)一直是重点研究的方向之一。在过去几年，随着NLP领域中技术的快速发展，由电子设备(例如智能手机、智能穿戴设备等)进行简单的单轮对话的自动回复已经取得长足的进步。但是在较为复杂的会话场景中，由于对话内容中会频繁地出现代词，使得电子设备很难像人类一样有效的理解用户的真实意图。如何使电子设备更加准确地识别对话内容中的代词所表示的真实含义成了亟需解决的问题。
技术实现思路
本申请实施例公开了一种对话文本的处理方法、装置、电子设备及存储介质，能够准确识别对话文本中代词所实际指代的对象，提高了对于对话文本的处理能力。本申请实施例还公开了一种文本处理模型的训练方法、装置、电子设备及存储介质，能够训练得到具备准确识别对话文本中代词所实际指代对象的文本处理模块，提高了对于对话文本的处理能力。本文档来自技高网...

【技术保护点】
1.一种对话文本的处理方法，其特征在于，包括：/n获取第一文本序列，所述第一文本序列至少包括最近一轮对话的对话文本；/n通过文本处理模型获取所述第一文本序列的文本特征，并根据所述文本特征得到第二文本序列，所述第二文本序列为所述最近一轮对话的对话文本对应的指代消解文本，/n其中，所述文本特征包括第一自注意力特征及第二自注意力特征，所述文本处理模型包括编码器及解码器，所述编码器用于获取所述第一文本序列的所述第一自注意力特征，所述解码器用于根据所述第一自注意力特征获取所述第二自注意力特征，所述编码器及解码器均为通过基于自注意力机制的自然语言处理模型进行预训练得到的。/n

【技术特征摘要】
1.一种对话文本的处理方法，其特征在于，包括：
获取第一文本序列，所述第一文本序列至少包括最近一轮对话的对话文本；
通过文本处理模型获取所述第一文本序列的文本特征，并根据所述文本特征得到第二文本序列，所述第二文本序列为所述最近一轮对话的对话文本对应的指代消解文本，
其中，所述文本特征包括第一自注意力特征及第二自注意力特征，所述文本处理模型包括编码器及解码器，所述编码器用于获取所述第一文本序列的所述第一自注意力特征，所述解码器用于根据所述第一自注意力特征获取所述第二自注意力特征，所述编码器及解码器均为通过基于自注意力机制的自然语言处理模型进行预训练得到的。


2.根据权利要求1所述的方法，其特征在于，所述获取第一文本序列，包括：
获取原始文本，并根据所述原始文本生成第一文本序列，所述原始文本包括最近一轮对话的对话文本，以及在所述最近一轮对话之前的N轮对话文本，所述N为自然数。


3.根据权利要求2所述的方法，其特征在于，所述文本处理模型还包括指针网络模型，所述根据所述文本特征得到第二文本序列，包括：
通过所述指针网络模型分析所述第一自注意力特征及第二自注意力特征，并输出位置坐标；
在所述原始文本中查找与所述位置坐标匹配的字符，并根据查找到的字符得到第二文本序列。


4.根据权利要求3所述的方法，其特征在于，所述通过所述指针网络模型分析所述第一自注意力特征及第二自注意力特征，并输出位置坐标，包括：
将所述第一自注意力特征及本次所述解码器输出的第二自注意力特征输入所述指针网络模型；
通过所述指针网络模型分析所述第一自注意力特征及本次的第二自注意力特征，并输出本次得到的位置坐标；
所述在所述原始文本中查找与所述位置坐标匹配的字符，并根据查找到的字符得到第二文本序列，包括：
在所述原始文本中查找与所述本次得到的位置坐标匹配的字符；
将查找到的字符拼接到上一次的中间文本序列，得到本次的中间文本序列，并将所述本次的中间文本序列作为下一次所述解码器的输入，以通过所述解码器输出下一次的第二自注意力特征；
当所述指针网络模型输出终止符时，将上一次得到的中间文本序列作为第二文本序列输出。


5.根据权利要求2至4任一所述的方法，其特征在于，所述文本特征还包括所述第一文本序列中各个字符的轮数特征；
在所述获取原始文本之后，所述方法还包括：
在所述原始文本包含的各个字符中，添加对应的轮数特征，所述轮数特征用于表征字符在所述原始文本中对应的对话轮数。


6.根据权利要求2至4任一所述的方法，其特征在于，所述文本特征还包括所述第一文本序列中各个字符的位置信息；
在获取最获取原始文本之后，所述方法还包括：
针对所述原始文本包含的各个字符，分别标注位置信息，所述位置信息用于表征字符在所属的对话文本中的位置。


7.根据权利要求2所述的方法，其特征在于，所述根据所述原始文本生成第一文本序列，包括：
识别所述原始文本中包含的第一类型的字符；
删除所述原始文本中的所述第一类型的字符，得到第一文本序列，
或将所述原始文本中的所述第一类型的字符替换为目标字符，得到第一文本序列。


8.根据权利要求1至4任一所述的方法，其特征在于，所述通过文本处理模型获取所述第一文本序列的文本特征，包括：
获取所述第一文本序列中各个字符的嵌入向量；
将所述各个字符的嵌入向量输入编码器，并通过所述编码器对所述各个字符的嵌入向量进行归一化处理；
根据归一化处理后的嵌入向量，分别计算所述第一文本序列中各个字符的自注意力，并根据计算得到的自注意力生成第一自注意力特征。


9.根据权利要求1所述的方法，其特征在于，在所述获取第一文本序列之前，所述方法还包括：
通过基于自注意力机制的自然语言处理模型对文本处理模型中的编码器进行预训练，以使预训练得到的编码器与所述自然语言处理模型拟合；
通过所述自然语言处理模型对所述文本处理模型中的解码器进行预训练，以使预训练得到的解码器与所述自然语言处理模型拟合；
在所述文本处理模型中，通过所述预训练得到的编码器获得第一文本样本的第一自注意力样本特征，并通过所述预训练得到的解码器获得所述第一文本样本的第二自注意力样本特征，再根据所述第一自注意力样本特征及第二自注意力样本特征得到预测指代消解文本；
基于所述预测指代消解文本及所述第一文本样本的实际指代消解文本调整所述文本处理模型的参数。


10.根据权利要求9所述的方法，其特征在于，所述通过基于自注意力机制的自然语言处理模型对文本处理模型中的编码器进行预训练，包括：
以基于自注意力机制的自然语言处理模型为教师模型，以文本处理模型中的编码器为学生模型，通过所述自然语言处理模型对所述编码器进行知识蒸馏训练；
所述通过所述自然语言处理模型对所述文本处理模型中的解码器进行预训练，包括：
以所述自然语言处理模型为教师模型，以所述文本处理模型中的解码器为学生模型，通过所述自然语言处理模型对所述解码器进行知识蒸馏训练。


11.根据权利要求10所述的方法，其特征在于，所述通过所述自然语言处理模型对所述编码器进行知识蒸馏训练，包括：
通过所述自然语言处理模型获得第二文本样本的第一特征，并通过所述编码器获得所述第二文本样本的第二特征；
计算所述第二特征相对所述第一特征的第一损失，并根据所述第一损失调整所述编码器的参数。


12.根据权利要求10或11所述的方法，其特征在于，所述通过所述自然语言处理模型对所述解码器进行知识蒸馏训练，包括：
通过预训练得到的编码器获得第三文本样本的第三特征；
将所述第三特征输入解码器中，以使所述解码器根据所述第三特征获得针对所述第三文本样本的输出文本序列及第四特征；
将所述第三文本样本与所述输出文本序列进行拼接，并通过所述自然语言处理模型获得拼接后的文本的第五特征；
计算所述第四特征相对所述第五特征的第二损失，并根据所述第二损失调整所述解码器的参数。


13.根据权利要求12所述的方法，其特征在于，在所述通过所述自然语言处理模型获得拼接后的文本的第五特征之后，所述方法还包括：
按照所述第四特征的特征长度对所述第五特征进行截断，得到截断后与所述第四特征匹配的部分特征；
所述计算所述第四特征相对所述第五特征的第二损失，包括：
计算所述...

【专利技术属性】
技术研发人员：陶健，
申请(专利权)人：深圳市欢太科技有限公司，OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44