【技术实现步骤摘要】
本专利技术涉及深度学习，尤其涉及一种自注意力模型的优化方法。
技术介绍
1、传统的基于自注意力机制的深度学习模型(transformer)是一种广泛应用于自然语言处理任务的深度学习模型架构，使用自注意力机制处理输入序列；“提取强度”是描述信息在记忆中可获取性的一个概念，更高的提取强度意味着信息更容易被记住和回忆起来。
2、传统的基于自注意力机制的深度学习模型(transformer)已经在许多自然语言处理任务中显示出了优越性，采用自注意力机制，将输入序列中的每个元素都关联起来，以生成一个全局的上下文表示；在人类的记忆过程中，一些信息比其他信息更易于提取和回忆，这种现象被称为“提取强度”，这与现有的基于自注意力机制的深度学习模型(transformer)在计算注意力权重时的处理方式形成鲜明的对比。
3、在现有技术中，基于自注意力机制的深度学习模型将输入序列中的每一个元素都关联起来，生成上下文表示，但所有的元素在计算注意力权重时被认为是等同的，导致模型无法有效地提取和理解序列中的关键信息，影响模型的理解力和效率。
技术实现思路
1、本专利技术的目的在于，提供一种自注意力模型的优化方法，解决以上技术问题；
2、一种自注意力模型的优化方法，包括，
3、步骤s1，构建一自注意力模型，并向所述自注意力模型中引入自适应记忆单元；
4、步骤s2，通过所述自适应记忆单元修改所述自注意力模型的注意力机制，得到修改后自注意力模型；
6、优选地，步骤s1中所述自适应记忆单元在时间t的状态为memory(t)，计算式为
7、
8、其中，lr表示学习率，表示所述自适应记忆单元关于损失函数的梯度。
9、优选地，步骤s2中修改后的所述注意力机制为attention(q,k,v,m)，计算式为
10、
11、其中，q表示查询值，k表示键值，v表示键值对应的信息，m表示memory矩阵，t表示时间步，dk表示词向量的维度。
12、优选地，步骤s3包括，
13、步骤s31，对所述自适应记忆单元进行初始化；
14、步骤s32，依据所述目标函数对初始化后的所述自适应记忆单元的权重进行调整处理，得到调整后自适应记忆单元；
15、步骤s33，将所述调整后自适应记忆单元引入多层所述注意力机制中，得到多层次自注意力模型；
16、步骤s34，向所述多层次自注意力模型中引入记忆单元损失函数，得到优化后自注意力模型。
17、优选地，步骤s31中所述初始化是指依据所述自然语言处理任务的特征以及先验知识，对不同位置的所述自适应记忆单元赋予不同的初始权重。
18、优选地，步骤s32中所述自适应记忆单元会依据当前的输入序列以及所述自然语言处理任务进行反馈，以适应不同的所述输入序列以及所述自然语言处理任务。
19、优选地，所述调整处理包括反向传播和梯度更新；
20、所述反向传播是从所述自注意力模型的输出层开始，逐层计算每一层的梯度，并更新权重；
21、所述梯度更新是任务损失函数对当前权重位置的斜率进行更新。
22、优选地，所述自适应记忆单元用以存储所述自注意力模型对所述自然语言处理任务的提取强度信息。
23、优选地，步骤s34中所述记忆单元损失函数用以约束所述自适应记忆单元的更新和学习，协调所述自适应记忆单元与所述自然语言处理任务的目标。
24、优选地，所述输入序列为源语言语句或文章或文字段或用户评论或用户反馈。
25、本专利技术的有益效果是：由于采用以上技术方案，改进现有的自注意力模型，使模型能够更有效地提取和理解输入序列中的关键信息，提高模型的理解力和效率，能更好地适应不同的任务。
本文档来自技高网...【技术保护点】
1.一种自注意力模型的优化方法，其特征在于，包括，
2.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤S1中所述自适应记忆单元在时间t的状态为Memory(t)，计算式为
3.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤S2中修改后的所述注意力机制为Attention(Q,K,V,M)，计算式为
4.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤S3包括，
5.根据权利要求4所述的自注意力模型的优化方法，其特征在于，步骤S31中所述初始化是指依据所述自然语言处理任务的特征以及先验知识，对不同位置的所述自适应记忆单元赋予不同的初始权重。
6.根据权利要求4所述的自注意力模型的优化方法，其特征在于，步骤S32中所述自适应记忆单元会依据当前的输入序列以及所述自然语言处理任务进行反馈，以适应不同的所述输入序列以及所述自然语言处理任务。
7.根据权利要求4所述的自注意力模型的优化方法，其特征在于，所述调整处理包括反向传播和梯度更新；
8.根据权利要求6所述的自注意
9.根据权利要求4所述的自注意力模型的优化方法，其特征在于，步骤S34中所述记忆单元损失函数用以约束所述自适应记忆单元的更新和学习，协调所述自适应记忆单元与所述自然语言处理任务的目标。
10.根据权利要求6所述的自注意力模型的优化方法，其特征在于，所述输入序列为源语言语句或文章或文字段或用户评论或用户反馈。
...【技术特征摘要】
1.一种自注意力模型的优化方法，其特征在于，包括，
2.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤s1中所述自适应记忆单元在时间t的状态为memory(t)，计算式为
3.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤s2中修改后的所述注意力机制为attention(q,k,v,m)，计算式为
4.根据权利要求1所述的自注意力模型的优化方法，其特征在于，步骤s3包括，
5.根据权利要求4所述的自注意力模型的优化方法，其特征在于，步骤s31中所述初始化是指依据所述自然语言处理任务的特征以及先验知识，对不同位置的所述自适应记忆单元赋予不同的初始权重。
6.根据权利要求4所述的自注意力模型的优化方法，其特征在于，步骤s32中所...
【专利技术属性】
技术研发人员：胡文强，朱瑞星，黄孟钦，
申请(专利权)人：上海深至信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。