【技术实现步骤摘要】
本专利技术涉及计算机，尤其是涉及一种自然语言关联特征的记忆增强方法、装置及存储介质。
技术介绍
1、由于自然语言的n个词语之间由于n个词语之间是存在相互的关系，例如一句话：[明天,的,天气,是,下雨天]，其中“天气”对于“下雨天”存在重要的关联关系，为了表示这样的关联关系，现有技术中一般需要进行关联特征的计算，目前的常用方法是基于注意力机制(attention)。
2、现有技术中，人工智能内容生成模型主要是基于注意力机制(attention)的transformer模型，对于现有的transformer模型其存在以下技术问题：
3、(1)注意力机制(attention)的计算复杂性随着词序列长度的增加而增加，因为每个位置需要与所有其他位置计算注意力权重。这导致在处理长的词序列时，模型的计算成本大大增加，限制了其在实际应用中的可扩展性。
4、(2)注意力机制(attention)本身并没有直接考虑词语的位置信息，因此在处理无序输入(如集合数据)时可能表现不佳。为了解决这个问题，transformer神经网络(一种基于自注意力机制的一个深度学习的神经网络模型)引入了位置编码来注入位置信息，但这种方法并不总是能够捕捉到所有位置之间的准确关系。
5、(3)注意力机制(attention)在输入中存在一定程度的噪声时可能会变得敏感，导致输出不稳定。一些方法(如：dropout(丢弃)或层归一化)可以缓解这个问题，但并不能完全解决。
6、(4)transformer模型通常需要大量
7、(5)大型的transformer模型拥有数百亿甚至数千亿的参数，这会导致模型的存储需求巨大，并且需要更长的时间来训练。
8、(6)transformer模型在训练时需要大量的数据来获得良好的性能，对于某些特定任务或低资源语言来说是一个挑战。
9、(7)transformer模型对于较长的文本序列处理存在困难，因为其自注意力机制(attention)会导致计算复杂度的显著增加。
10、(8)transformer模型的自注意力机制(attention)在处理稀疏输入时可能效率较低。
11、基于注意力机制(attention)进行自然语言关联特征表示，其计算复杂性的问题，严重影响了注意力机制(attention)的大模型训练效率和预测效率，虽然行业有大量的探索，但是均无法在线性计算的范围内提升性能。
12、transformer模型能够较好的学习自然语言的表达，但是除上述缺陷外，在实际应用过程中，还存在“幻觉”现象，即模型输出的内容缺乏真实性，甚至是“胡编乱造”。而对于部分场景(如智能客服、知识问答等)需要大模型真实性的内容输出。
技术实现思路
1、本专利技术提供了一种自然语言关联特征的记忆增强方法、装置及存储介质，以解决现有技术中transformer模型存在的技术问题。
2、本专利技术的一个方面在于提供一种自然语言关联特征的记忆增强方法，所述记忆增强方法包括如下方法步骤：
3、s1、获取自然语言的词序列，生成表示自然语言关联特征的关联特征矩阵d；
4、s2、构建人工智能内容生成模型，其中，所述人工智能内容生成模型包括多层线性计算单元；
5、s3、将表示自然语言关联特征的关联特征矩阵d对应第一个词语的词向量，输入人工智能内容生成模型；
6、通过多层线性计算单元由第一个词语的词向量开始，依次进行错位叠加预测，生成每一个词语的预测词向量，对人工智能内容生成模型进行训练；
7、s4、通过损失函数，对每一个预测词向量进行评估，增强自然语言关联特征的记忆。
8、在一个优选的实施例中，在步骤s1中，生成表示自然语言关联特征的关联特征矩阵d，包括如下方法步骤：
9、s11、获取自然语言的词序列，生成自然语言的n行m列的第一特征矩阵a，其中，n为自然语言的词语数量，m为每一个词语的编码位数；
10、s12、对n行m列的第一特征矩阵a的每一列进行累计求和，生成n行m列的第二特征矩阵b；
11、s13、对n行m列的第二特征矩阵b进行神经网络的线性转换，得到n行m列的第三特征矩阵c；
12、s14、对n行m列的第三特征矩阵c进行归一化处理，得到n行m列的关联特征矩阵d；关联特征矩阵d表示自然语言关联特征。
13、在一个优选的实施例中，在步骤s11中，对自然语言的每一个词语指定唯一且不重复的id编号，获取自然语言的词序列；
14、针对每一个词语的id编号，随机生成m位编码，生成自然语言的n行m列的第一特征矩阵a。
15、在一个优选的实施例中，其特征在于，在步骤s12中，对第一特征矩阵a的每一列的每一个元素值，依次累加前一元素值，生成n行m列的第二特征矩阵b。
16、在一个优选的实施例中，在步骤s13中，构造m行m列的线性转换矩阵x，将n行m列的第二特征矩阵b乘以m行m列的线性转换矩阵x，得到n行m列的第三特征矩阵c。
17、在一个优选的实施例中，在步骤s14中，n行m列的关联特征矩阵d的每一个元素值的范围在-1到1之间。
18、在一个优选的实施例中，在步骤s14中，采用min-max归一化法或者z-score归一化法，对n行m列的第三特征矩阵c进行归一化处理，使得到的n行m列的关联特征矩阵d的每一个元素值的范围在-1到1之间。
19、在一个优选的实施例中，在步骤s1中，以自然语言的一个字作为一个词语获取自然语言的词序列，生成表示自然语言关联特征的关联特征矩阵d。
20、本专利技术的另一个方面在于提供一种自然语言关联特征的记忆增强装置，所述记忆增强装置包括：
21、关联特征矩阵d生成单元，用于获取自然语言的词序列，生成表示自然语言关联特征的关联特征矩阵d；
22、人工智能内容生成模型构建单元，用于构建人工智能内容生成模型，其中，所述人工智能内容生成模型包括多层线性计算单元；
23、模型训练单元，用于将表示自然语言关联特征的关联特征矩阵d对应第一个词语的词向量，输入人工智能内容生成模型；
24、并通过多层线性计算单元由第一个词语的词向量开始，依次进行错位叠加预测，生成每一个词语的预测词向量，对人工智能内容生成模型进行训练；
25、评估单元，用于通过损失函数对每一个预测词向量进行评估，增强自然语言关联特征的记忆。
26、本专利技术的又一个方面在于提供一种存储介质，所述存储介质用于存储计算机执行指令，所述计算机执行指令用于执行本专利技术提供的一种自然语言关联特征的记忆增强方法。
27、与现有技术相比，本专利技术具有以下有益效果：
28、本专利技术提供的一种自然语言关联特征的记忆增强方法、装置及本文档来自技高网...
【技术保护点】
1.一种自然语言关联特征的记忆增强方法，其特征在于，所述记忆增强方法包括如下方法步骤：
2.根据权利要求1所述的记忆增强方法，其特征在于，在步骤S1中，生成表示自然语言关联特征的关联特征矩阵D，包括如下方法步骤：
3.根据权利要求2所述的记忆增强方法，其特征在于，在步骤S11中，对自然语言的每一个词语指定唯一且不重复的ID编号，获取自然语言的词序列；
4.根据权利要求2所述的记忆增强方法，其特征在于，其特征在于，在步骤S12中，对第一特征矩阵A的每一列的每一个元素值，依次累加前一元素值，生成n行m列的第二特征矩阵B。
5.根据权利要求2所述的记忆增强方法，其特征在于，在步骤S13中，构造m行m列的线性转换矩阵X，将n行m列的第二特征矩阵B乘以m行m列的线性转换矩阵X，得到n行m列的第三特征矩阵C。
6.根据权利要求2所述的记忆增强方法，其特征在于，在步骤S14中，n行m列的关联特征矩阵D的每一个元素值的范围在-1到1之间。
7.根据权利要求2所述的记忆增强方法，其特征在于，在步骤S14中，采用Min-Max归
8.根据权利要求1所述的记忆增强方法，其特征在于，在步骤S1中，以自然语言的一个字作为一个词语获取自然语言的词序列，生成表示自然语言关联特征的关联特征矩阵D。
9.一种自然语言关联特征的记忆增强装置，其特征在于，所述记忆增强装置包括：
10.一种存储介质，其特征在于，所述存储介质用于存储计算机执行指令，所述计算机执行指令用于执行权利要求1至8中任一权利要求所述的记忆增强方法。
...【技术特征摘要】
1.一种自然语言关联特征的记忆增强方法，其特征在于，所述记忆增强方法包括如下方法步骤：
2.根据权利要求1所述的记忆增强方法，其特征在于，在步骤s1中，生成表示自然语言关联特征的关联特征矩阵d，包括如下方法步骤：
3.根据权利要求2所述的记忆增强方法，其特征在于，在步骤s11中，对自然语言的每一个词语指定唯一且不重复的id编号，获取自然语言的词序列；
4.根据权利要求2所述的记忆增强方法，其特征在于，其特征在于，在步骤s12中，对第一特征矩阵a的每一列的每一个元素值，依次累加前一元素值，生成n行m列的第二特征矩阵b。
5.根据权利要求2所述的记忆增强方法，其特征在于，在步骤s13中，构造m行m列的线性转换矩阵x，将n行m列的第二特征矩阵b乘以m行m列的线性转换矩阵x，得到n行m列的第三特征矩阵c。
6.根据权...
【专利技术属性】
技术研发人员：刘凡平，
申请(专利权)人：上海岩芯数智人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。