一种机器阅读理解推理方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术公开了一种机器阅读理解推理方法及装置、电子设备、存储介质，包括：S1：获取输入文本的张量A；S2：将A输入多头注意力层，得到张量B，A与B根据量化参数差距进行选择性求和，得到张量C，对C中的所有向量求第一均值和第一方差并进行归一化，得到张量D，将D输入至第一全连接神经网络，得到张量E，E经过激活函数层得到张量F，F与D根据量化参数差距进行选择性求和，得到张量G，对G中的所有向量求第二均值和第二方差并进行归一化，得到张量H；S3：重复若干次S2，得到张量K；S3：将K输入至第二全连接神经网络，得到输入文本中的每个文字作为答案的开始文字与结束文字的概率，从而得到问题答案。案。案。

【技术实现步骤摘要】
一种机器阅读理解推理方法及装置、电子设备、存储介质


[0001]本专利技术属于机器阅读理解以及自然语言处理
，尤其涉及一种机器阅读理解推理方法及装置、电子设备、存储介质。

技术介绍

[0002]机器阅读理解主要涉及到深度学习技术以及自然语言处理技术，人类通过一句文本语句的提问，让机器从一篇文章中快速找到问题的答案，减轻人类处理信息的成本，具有很高的研究价值和丰富的使用场景。
[0003]现有的机器阅读理解模型会使用训练时相同的模型结构直接用于推理，这虽然可以保证推理结果能接近于训练时的准确率，但是也降低了推理时的速度。这是因为在训练时，为了提高模型的泛化能力，往往会在模型中使用大量的非线性单元，如GELU等激活函数，从而提高训练模型对训练数据的拟合能力。然后由于现在处理器件将大量算子转化为线性计算器件，如矩阵乘，这种非线性模块的引入会大大减慢模型前向传播时的速度，即推理速度。在一些实时问答等场景中，需要机器以极快的反应速度从大量文档中找到用户提问的答案，提高推理速度可大大提高该类技术在实际应用中的用户体验，尤其是商用产品。
[0004]现有的快速机器阅读理解推理模型往往选择在训练时就精简模型的复杂度，从而提高推理速度，然而训练时的模型精简将大大降低模型的泛化能力，影响推理时的准确度。同时，由于自然语言模型参数巨大，训练费时费力，成本较高，通过在训练前改变模型，很难去平衡训练后推理时的精度和速度。

技术实现思路

[0005]本申请实施例的目的是提供一种机器阅读理解推理方法及装置、电子设备、存储介质，以解决相关技术中存在的难以平衡训练后推理时的精度和速度的技术问题。
[0006]根据本申请实施例的第一方面，提供一种机器阅读理解推理方法，包括：S1：获取输入文本的张量A；S2：将所述张量A输入多头注意力层进行计算，得到张量B，所述张量A与张量B根据量化参数差距进行选择性求和，得到张量C，对所述张量C中的所有向量求第一均值和第一方差并根据所述第一均值和第一方差进行归一化，得到张量D，将所述张量D输入至第一全连接神经网络，得到张量E，张量E经过一个特定的激活函数层，得到张量F，所述张量F与张量D根据量化参数差距进行选择性求和，得到张量G，对所述张量G中的所有向量求第二均值和第二方差并根据所述第二均值和第二方差进行归一化，得到张量H；S3：重复若干次步骤S2，得到张量K；S4：将所述张量K输入至第二全连接神经网络，得到所述输入文本中的每个文字作为答案的开始文字与结束文字的概率，将从开始文字的概率最大的文字到结束文字的概率最大的文字组成的句子作为问题答案。
[0007]进一步地，获取输入文本的张量A，包括：
获取输入文本，所述输入文本由问题和包含问题答案的答案文本构成，所述问题和答案文本均由若干文字构成；对所述输入文本中每个文字的进行向量化处理，得到每个文字对应的向量；将所述每个文字对应的向量对应组合，得到输入文本的张量A。
[0008]进一步地，所述张量A与向量B根据量化参数差距进行选择性求和，得到张量C，包括：获取所述张量A的量化参数Q1、所述张量B的量化参数Q2及预先设置的量化参数阈值z1和z2，其中z1大于z2；若量化参数Q1除以量化参数Q2的值大于等于量化参数阈值z1，则将所述张量A作为张量C；若量化参数Q1除以量化参数Q2的值小于等于量化参数阈值z2，则将所述张量B作为张量C；若量化参数Q1除以量化参数Q2的值小于量化参数阈值z1且大于量化参数阈值z2，则将所述张量A与所述张量B的和作为张量C。
[0009]进一步地，对所述张量C中的所有向量求第一均值和第一方差并根据所述第一均值和第一方差进行归一化，得到张量D，包括：获取第一预定参数i，其中i根据实际模型精度需要进行设置；对所述张量C中的每个向量，求各向量中每个元素的平均值，得到该向量的均值，记为M；若当前重复轮次x小于i，则对所述张量C中的每个向量，求各向量中每个元素减去所述向量的均值M后开平方的值并进行累加，得到该向量的方差值N；若当前重复轮次x大于等于i，对所述张量C中每个向量，对各向量中每个元素开平方并进行累加，得到该向量的方差值N；对所述张量C中每个向量，每个向量中的值减去其向量均值M的差值除以其方差值N，得到张量D。
[0010]进一步地，张量E经过一个特定的激活函数层，得到张量F，包括：获取第二预定参数j，其中j根据实际模型精度需要进行设置；若当前重复轮次y小于j，则使用非线性激活函数进行计算；若当前重复轮次y大于等于j，则使用线性激活函数进行计算。
[0011]进一步地，对所述张量G中的所有向量求第二均值和第二方差并根据所述第二均值和第二方差进行归一化，得到张量H，包括：获取第二预定参数k，其中k根据实际模型精度需要进行设置；对所述张量G中的每个向量，求各向量中每个元素的平均值，得到该向量的均值，记为P；若当前重复轮次z小于i，则对所述张量C中的每个向量，求各向量中每个元素减去所述向量的均值P后开平方的值并进行累加，得到该向量的方差值Q；若当前重复轮次z大于等于i，对所述张量C中每个向量，对各向量中每个元素开平方并进行累加，得到该向量的方差值Q；对所述张量C中每个向量，每个向量中的值减去其向量均值P的差值除以其方差值
Q，得到张量H。
[0012]根据本申请实施例的第二方面，提供一种机器阅读理解推理装置，包括：获取模块，用于获取输入文本的张量A；计算模块，用于将所述张量A输入多头注意力层进行计算，得到张量B，所述张量A与张量B根据量化参数差距进行选择性求和，得到张量C，对所述张量C中的所有向量求第一均值和第一方差并根据所述第一均值和第一方差进行归一化，得到张量D，将所述张量D输入至第一全连接神经网络，得到张量E，张量E经过一个特定的激活函数层，得到张量F，所述张量F与张量D根据量化参数差距进行选择性求和，得到张量G，对所述张量G中的所有向量求第二均值和第二方差并根据所述第二均值和第二方差进行归一化，得到张量H；重复模块，用于重复若干次计算模块执行的步骤，得到张量K；输入模块，用于将所述张量K输入至第二全连接神经网络，得到所述输入文本中的每个文字作为答案的开始文字与结束文字的概率，将从开始文字的概率最大的文字到结束文字的概率最大的文字组成的句子作为问题答案。
[0013]根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的机器阅读理解推理方法。
[0014]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述的机器阅读理解推理方法的步骤。
[0015]本申请的实施例提供的技术方案可以包括以下有益效果：由上述实施例可知，本申请提出的机器阅读理解推理方法，可在使用模型训练时相同的模型参数前提下，根据实际场景推理的精度需要，来调整推理时使用的模型结构，在满足最低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器阅读理解推理方法，其特征在于，包括：S1：获取输入文本的张量A；S2：将所述张量A输入多头注意力层进行计算，得到张量B，所述张量A与张量B根据量化参数差距进行选择性求和，得到张量C，对所述张量C中的所有向量求第一均值和第一方差并根据所述第一均值和第一方差进行归一化，得到张量D，将所述张量D输入至第一全连接神经网络，得到张量E，张量E经过一个特定的激活函数层，得到张量F，所述张量F与张量D根据量化参数差距进行选择性求和，得到张量G，对所述张量G中的所有向量求第二均值和第二方差并根据所述第二均值和第二方差进行归一化，得到张量H；S3：重复若干次步骤S2，得到张量K；S4：将所述张量K输入至第二全连接神经网络，得到所述输入文本中的每个文字作为答案的开始文字与结束文字的概率，将从开始文字的概率最大的文字到结束文字的概率最大的文字组成的句子作为问题答案。2.根据权利要求1所述的一种机器阅读理解推理方法，其特征在于，获取输入文本的张量A，包括：获取输入文本，所述输入文本由问题和包含问题答案的答案文本构成，所述问题和答案文本均由若干文字构成；对所述输入文本中每个文字的进行向量化处理，得到每个文字对应的向量；将所述每个文字对应的向量对应组合，得到输入文本的张量A。3.根据权利要求1所述的一种机器阅读理解推理方法，其特征在于，所述张量A与向量B根据量化参数差距进行选择性求和，得到张量C，包括：获取所述张量A的量化参数Q1、所述张量B的量化参数Q2及预先设置的量化参数阈值z1和z2，其中z1大于z2；若量化参数Q1除以量化参数Q2的值大于等于量化参数阈值z1，则将所述张量A作为张量C；若量化参数Q1除以量化参数Q2的值小于等于量化参数阈值z2，则将所述张量B作为张量C；若量化参数Q1除以量化参数Q2的值小于量化参数阈值z1且大于量化参数阈值z2，则将所述张量A与所述张量B的和作为张量C。4.根据权利要求1所述的一种机器阅读理解推理方法，其特征在于，对所述张量C中的所有向量求第一均值和第一方差并根据所述第一均值和第一方差进行归一化，得到张量D，包括：获取第一预定参数i，其中i根据实际模型精度需要进行设置；对所述张量C中的每个向量，求各向量中每个元素的平均值，得到该向量的均值，记为M；若当前重复轮次x小于i，则对所述张量C中的每个向量，求各向量中每个元素减去所述向量的均值M后开平方的值并进行累加，得到该向量的方差值N；若当前重复轮次x大于等于i，对所述张量C中每个向量，对各向量中每个元素开平方并进行累加，得到该向量的方差值N；对所述张量C中每个向量，每个向量中的值减去其...

【专利技术属性】
技术研发人员：毛旷，汤昭荣，潘秋红，程云，
申请(专利权)人：之江实验室，
类型：发明
国别省市：