一种机器阅读理解注意力方法、系统、介质、设备及终端技术方案

本发明专利技术属于机器学习或人工智能技术领域，公开了一种机器阅读理解注意力方法、系统、介质、设备及终端，利用仿生链接网络，通过预训练学习得到实体间的关联并进行存储；使用基于仿生链接网络的注意力机制处理输入文本和关联信息，将输入序列和关联信息协同处理，从全体词元中提取与输入文本相关联的信息；利用词嵌入技术对输入文本和关联信息生成词向量序列，一并送入Encoder‑Decoder架构下的深度神经网络模型中，实现文本的机器阅读与理解。本发明专利技术使用仿生链接网络提取与输入文本相关联的信息，使得模型更加全面、周密地将需要的因素纳入考量范围，极大地增强基于解码器‑编码器架构下模型的推理能力，改善推理依据不足的问题。

【技术实现步骤摘要】

本专利技术属于机器学习或人工智能，尤其涉及一种机器阅读理解注意力方法、系统、介质、设备及终端。

技术介绍

1、目前，机器阅读与理解所使用的核心技术主要包含用于序列生成的神经网络技术和用于表征自然语言含义的词嵌入技术。

2、(1)“解码器-编码器”架构

3、现阶段，适用于文本阅读和理解任务的大规模神经网路模型多采用“编码器-解码器”(encoder-decoder)架构。基于这种架构的模型可能会生成存在逻辑谬误的文本，且在机器推理的任务上表现不佳。有着1750亿可训练参数的ai模型gpt3同样存在这样的问题，这意味着“编码器-解码器”结构不足以赋予人工智能模型强大推理能力，而非可训练参数体量不足限制模型的任务表现。

4、人工智能模型的推理能力存在缺陷，往往是因为输入序列没有包含足够的有效信息，完成一次自然语言文本相关的推理任务所需的信息不一定完全被包含在输入的文本中。然而基于“编码器-解码器”架构的模型仅能从输入文本序列中提取信息：编码器使用自注意力机制从输入文本中提取关键信息，解码器使用普通注意力机制从生成文本和解码器输本文档来自技高网...

【技术保护点】

1.一种机器阅读理解注意力方法，其特征在于，机器阅读理解注意力方法包括：利用仿生链接网络，通过预训练学习得到实体间的关联并进行存储；使用基于仿生链接网络的注意力机制处理输入文本和关联信息，将输入序列和关联信息协同处理，从全体词元中提取与输入文本相关联的信息；利用词嵌入技术对输入文本和关联信息生成词向量序列，一并送入Encoder-Decoder架构下的深度神经网络模型中，进而实现文本的机器阅读与理解。

2.如权利要求1所述机器阅读理解注意力方法，其特征在于，机器阅读理解注意力方法包括以下步骤：

3.如权利要求2所述机器阅读理解注意力方法，其特征在于，步骤一中的仿生...

【技术特征摘要】

1.一种机器阅读理解注意力方法，其特征在于，机器阅读理解注意力方法包括：利用仿生链接网络，通过预训练学习得到实体间的关联并进行存储；使用基于仿生链接网络的注意力机制处理输入文本和关联信息，将输入序列和关联信息协同处理，从全体词元中提取与输入文本相关联的信息；利用词嵌入技术对输入文本和关联信息生成词向量序列，一并送入encoder-decoder架构下的深度神经网络模型中，进而实现文本的机器阅读与理解。

2.如权利要求1所述机器阅读理解注意力方法，其特征在于，机器阅读理解注意力方法包括以下步骤：

3.如权利要求2所述机器阅读理解注意力方法，其特征在于，步骤一中的仿生链接网络模型采用索引表的形式存储；每个词元或字均对应一个长度有限的链接列表，列表里记录其他词元的关键字；链接列表中还保存一个可选的多维向量，通过词嵌入技术记录词元对应的部分特征。

4.如权利要求2所述机器阅读理解注意力方法，其特征在于，步骤一中的仿生链接网络模型的预训练策略包括：在预训练阶段，将词元与上下文中的词元进行关联，仿生链接网络模型使用长篇文本作为训练语料；对训练文本进行切分：句首的词语与...

【专利技术属性】
技术研发人员：李倩倩，徐轲，满君丰，邱永峰，肖前辉，蔡颂，石猛，何向阳，廖秋林，张燕丽，胡晓棣，
申请(专利权)人：湖南第一师范学院，
类型：发明
国别省市：