阅读任务处理方法、模型训练方法、装置和计算机设备制造方法及图纸

本申请涉及一种阅读任务处理方法、模型训练方法、装置和计算机设备。所述方法包括：获取阅读文本以及与所述阅读文本关联的待对话文本和历史对话文本；所述历史对话文本中包括至少一轮历史对话的文本；计算所述待对话文本借鉴所述历史对话文本时对应的可借鉴指数；根据所述待对话文本和所述可借鉴指数达到借鉴条件时所对应的历史对话文本，在所述阅读文本中确定关键信息；根据提取的关键信息获得用于答复所述待对话文本的答复文本。采用本方法能够提高多轮对话时答复文本的准确性。

Reading task processing method, model training method, device and computer equipment

【技术实现步骤摘要】
阅读任务处理方法、模型训练方法、装置和计算机设备
本申请涉及人工智能
，特别是涉及一种阅读任务处理方法、模型训练方法、装置和计算机设备。
技术介绍
随着人工智能技术不断发展，人工智能技术在多个领域展开研究和应用。而自然语言处理（NatureLanguageProcessing，NLP）是人工智能技术中的一个重要方向，常常被应用于文本处理方向，如文本优化和机器阅读理解。传统机器阅读理解的方案中，通常是将阅读文本和针对阅读文本设置对话类型的待对话文本（即提问的文本）一并输入至序列到序列（seq2seq）模型，然后得到对应的答复文本。然而，对于单轮次的对话而言，采用上述机器阅读理解的方案可以得到较为准确的答复文本，然而当出现基于阅读文本的多轮对话时，所得到的答复文本的准确性较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高多轮对话时答复文本的准确性的阅读任务处理方法、训练方法、装置和计算机设备。一种阅读任务处理方法，所述方法包括：获取阅读文本以及与所述阅读文本关联的待对话文本和历史本文档来自技高网...

【技术保护点】
1.一种阅读任务处理方法，其特征在于，所述方法包括：/n获取阅读文本以及与所述阅读文本关联的待对话文本和历史对话文本；所述历史对话文本中包括至少一轮历史对话的文本；/n计算所述待对话文本借鉴所述历史对话文本时对应的可借鉴指数；所述可借鉴指数用于衡量所述待对话文本依赖所述历史对话文本的程度；/n根据所述待对话文本和所述可借鉴指数达到借鉴条件时所对应的历史对话文本，在所述阅读文本中确定关键信息；/n根据提取的关键信息获得用于答复所述待对话文本的答复文本。/n

【技术特征摘要】
1.一种阅读任务处理方法，其特征在于，所述方法包括：
获取阅读文本以及与所述阅读文本关联的待对话文本和历史对话文本；所述历史对话文本中包括至少一轮历史对话的文本；
计算所述待对话文本借鉴所述历史对话文本时对应的可借鉴指数；所述可借鉴指数用于衡量所述待对话文本依赖所述历史对话文本的程度；
根据所述待对话文本和所述可借鉴指数达到借鉴条件时所对应的历史对话文本，在所述阅读文本中确定关键信息；
根据提取的关键信息获得用于答复所述待对话文本的答复文本。


2.根据权利要求1所述的方法，其特征在于，所述计算所述待对话文本借鉴所述历史对话文本时对应的可借鉴指数包括：
获取所述待对话文本的第一语境表示和所述历史对话文本第二语境表示；
根据所述第一语境表示和所述第二语境表示，计算所述待对话文本和所述历史对话文本之间的相似度；
将计算所得的相似度确定为对应待对话文本借鉴所述历史对话文本时对应的可借鉴指数。


3.根据权利要求2所述的方法，其特征在于，所述获取所述待对话文本的第一语境表示和所述历史对话文本第二语境表示包括：
将所述待对话文本和所述历史对话文本输入机器学习模型；
通过所述机器学习模型的嵌入模块对所述待对话文本进行编码，得到第一语境表示；以及，
通过所述嵌入模块对各所述历史对话文本进行编码，得到第二语境表示。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一语境表示和所述第二语境表示，计算所述待对话文本和所述历史对话文本之间的相似度包括：
对所述第一语境表示中的各向量进行合并处理，得到用于表示所述待对话文本语义的第一语义向量；
对所述第二语境表示中的各向量进行合并处理，得到用于表示所述历史对话文本语义的第二语义向量；
计算所述第一语义向量与各所述第二语义向量之间的相似度；
将计算所得的相似度作为所述待对话文本和所述历史对话文本的相似度。


5.根据权利要求4所述的方法，其特征在于，所述机器学习模型包括历史流关注模型；所述第一语义向量由所述历史流关注模型的选择模块合并所述第一语境表示中的各向量所得；所述第二语义向量是由所述选择模块通过合并所述第二语境表示中的各向量所得；
所述计算所述第一语义向量与各所述第二语义向量之间的相似度包括：
通过所述选择模块计算所述第一语义向量与各所述第二语义向量之间的相似度。


6.根据权利要求5所述的方法，其特征在于，所述待对话文本为当前轮的问题文本；所述根据所述待对话文本和所述可借鉴指数达到借鉴条件时所对应的历史对话文本，在所述阅读文本中确定关键信息包括：
基于所述第一语境表示和所述阅读文本的第三语境表示，计算所述待对话文本对所述阅读文本的文本表示；
对所述文本表示进行集成操作；
通过所述历史流关注模型的历史流模块对集成操作后的文本表示和所述可借鉴指数进行流操作，得到所述阅读文本的答复文本表示；所述答复文本表示包含有所述待对话文本的查询信息和所述历史对话文本在所述阅读文本的注意力区域；
根据所述查询信息和所述可借鉴指数达到借鉴条件所对应的注意力区域，在所述阅读文本中确定关键信息。


7.根据权利要求6所述的方法，其特征在于，所述文本表示包括所述阅读文本中各词对所述待对话文本的表示向量；所述对所述文本表示进行集成操作包括：
将各所述表示向量分别输入所述机器学习模型中的编解码模型；所述编解码模型包括编码层和解码层；所述编解码模型是基于自注意力机制的模型；
利用所述编码层对相应的表示向量进行编码，得到对应的编码向量；
通过解码层对所述编码向量进行解码，得到集成操作后的文本表示。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述历史对话文本中选取所述可借鉴指数达到预设阈值的目标对话文本；或者，
按照所述可借鉴指数对所述历史对话文本中的各轮对话文本进行排序，并将排序名次达到预设名次的对应轮对话文本作为目标对话文本；
所述根据所述待对话文本和所述可借鉴指数达到借鉴条件时所对应的历史对话文本，在所述阅读文本中确定...

【专利技术属性】
技术研发人员：邱耀，张金超，牛成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44