【技术实现步骤摘要】
本专利技术属于深度学习的，具体涉及一种基于印迹沉淀的记忆网络实现方法及系统。
技术介绍
1、人工神经网络是一种以模拟人脑神经系统为目标的计算模型，它通过大量的节点和连接构建了一种复杂的结构，使其能够从输入数据中学习和提取模式，与传统的计算模型相比，神经网络以其高效的计算能力、可塑性和适应性成为了一种广泛应用的技术，尤其在图像识别、语音识别和自然语言处理等领域取得了很大的成功，它的发展为我们提供了新的视角和机会来理解记忆的本质。
2、现有的人工神经网络中包含了各式各样的记忆模块，但其设计的目的大都是为了捕获全局的信息，并不类似于存储某张图片、某段音频那样的记忆，如rnn、lstm。如何像人一样去记忆，当前最相关且出众的方案是将外部内存资源与神经网络耦合，神经网络将以注意力的形式与外部内存资源进行交互，如ntm。这种新颖且灵活的方法引起了广泛的发散研究，使神经网络在模拟人类认知方面取得了一些成功，但其记忆方式与现代生物学的主流思想相左。
3、外部内存使用一个个内存单元存储记忆，记忆之间彼此独立没有交互。此外，记忆与联想是高度紧密的，联想的机制应当建立在记忆的基础之上，而相互独立的记忆不是一个十分合适的结构，因此如何去实现一种类似人类的记忆的机制，并让网络回答输入是否在记忆之中仍然是一个挑战性的问题。
技术实现思路
1、本专利技术正是针对现有技术中记忆判断效率低且记忆结构不适用联想研究的问题，提供一种基于印迹沉淀的记忆网络实现方法及系统，首先构建包含印迹单元的记忆
2、为了实现上述目的，本专利技术采取的技术方案是：一种基于印迹沉淀的记忆网络实现方法，包括如下步骤：
3、s1:构建包含印迹单元的记忆网络模型，所述记忆网络模型至少包括特征提取网络、映射网络、印迹单元群和记忆判断网络；所述特征提取网络过滤输入图片特征，得到图片的高维抽象表示；所述映射网络建立起图片特征和印迹单元的单向映射关系；所述印迹单元群模拟人脑神经元群，是记忆的主要载体；所述记忆判断网络评判输入图片是否在记忆中或判断输入是否高度关联记忆的内容；
4、s2：使用特征提取网络提取输入图片特征，用交换的思想聚类同类别特征；
5、s3：将经过步骤s2获取的特征输入哈希网络，通过哈希网络建立特征与印迹单元的映射关系；
6、s4：使用沉淀函数将特征存储到印迹单元中，同时使用特征序列和印迹序列构建数据集，用作训练后续的应激函数；
7、s5：使用制作的数据集训练应激函数网络并使用训练好的模型进行记忆。
8、作为本专利技术的一种改进，所述步骤s2中，聚类具体为：同时输入一对图片，分别提取特征之后再交换两者相同位置的部分特征再进行重建，改变后的模型损失函数为：
9、
10、式中xi为输入的图像，zi为提取的特征，g(x)代表图片重建的解码器，lrec代表重建损失函数，其中，lrec(xi,g(zi))为原图的重建损失，lrec(xi,g(z′i))为特征交换后的重建损失。
11、作为本专利技术的一种改进，所述步骤s2中，除两张同类别的图片，需额外引入一张不同类别的图片，执行相同的提取特征步骤和重建工作，执行分割操作但不参与交换，三者形成三元组关系：(anchor,positive,negative)，其中anchor和positive为同类别图片，negative为不同类别图片，使用的三元损失函数为：
12、
13、式中，‖*‖为欧氏距离，表示的是positive和anchor之间的欧氏距离度量，表示的是negative和anchor之间的欧式距离度量，α是指xa与xn之间的距离和xa与xp之间的距离之间有一个最小的间隔，+表示[*]内的值大于0时，取该值为损失，小于0的时候损失取0。
14、作为本专利技术的另一种改进，所述步骤s3的哈希网络，输入特征只取交换部分的特征，输出前执行归一化处理，输出的维度为负责一张图片记忆的印迹单元个数；所述映射的计算方式具体为：
15、
16、式中，ni为对应印迹单元下标，zi为特征，fmap代表哈希网络，n代表印迹单元总数。
17、作为本专利技术的又一种改进，所述步骤s4中的沉淀函数具体为：
18、
19、式中，a和k分别用于控制单次增强程度和印迹沉淀饱和水平；
20、所述应急函数由孪生网络来实现，用于判断输入是否在记忆中，判断的依据是输入图片提取的特征和对应的印迹单元的分布情况。
21、作为本专利技术的更进一步改进，所述孪生网络在记忆的过程中得到图片提取的特征序列z＝{z1,z2,...,zn}，对应的印迹沉淀序列u＝{u1,u2,...,un}，在记忆之前，z与u不相似，将其打上“未见过”的标签并组合在一起形成一条训练用的负样本：
22、[{z1,z2,...,zn},{u1,u2,...,un},未见过]
23、随后，经由沉淀函数存储下当前记忆后，z与u相似，此时将其打上“见过”的标签并组合在一起形成一条训练用的正样本：
24、[{z1,z2,...,zn},{u1,u2,...,un},见过]
25、在完成一次记忆之后，改变的印迹单元可能会影响到先前已经记忆过的图片，因为之前图片对应的印迹序列可能发生了变化，将发生变化的印迹单元影响到的图片进行“回顾”，将其特征序列和当前对应的印迹序列再次打上“见过”的标签并加入训练样本：
26、[{z1,z2,...,zn},{u1,u2,...,un}new,见过]。
27、为了实现上述目的，本专利技术还采取的技术方案是：一种基于印迹沉淀的记忆网络实现系统，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
28、与现有技术相比，本专利技术具有的技术优势及技术效果是：
29、(1)在特征提取时，将记忆图片成对输入编码器提取特征，交换两者相同位置的部分特征之后再执行重建，迫使网络提取两张图片公共特征到交换的特征部分，以获取图片语义信息，实现特征聚类，该交换的思想新颖便于操作且聚类效果显著，可作为一种通用方法拓展到其他类似场景的任务上；
30、(2)哈希网络建立特征同印迹单元的映射关系，哈希网络实现线性变换，能综合考虑提取的特征和特征本文档来自技高网...
【技术保护点】
1.一种基于印迹沉淀的记忆网络实现方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤S2中，聚类具体为：同时输入一对图片，分别提取特征之后再交换两者相同位置的部分特征再进行重建，改变后的模型损失函数为：
3.如权利要求2所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤S2中，除两张同类别的图片，需额外引入一张不同类别的图片，执行相同的提取特征步骤和重建工作，执行分割操作但不参与交换，三者形成三元组关系：(anchor，positive，negative)，其中anchor和positive为同类别图片，negative为不同类别图片，使用的三元损失函数为：
4.如权利要求3所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤S3的哈希网络，输入特征只取交换部分的特征，输出前执行归一化处理，输出的维度为负责一张图片记忆的印迹单元个数；所述映射的计算方式具体为：
5.如权利要求4所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤S4中的沉淀
6.如权利要求5所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述孪生网络在记忆的过程中得到图片提取的特征序列z＝{z1，z2，...，zn}，对应的印迹沉淀序列u＝{u1，u2，...，un}，在记忆之前，z与u不相似，将其打上“未见过”的标签并组合在一起形成一条训练用的负样本：
7.一种基于印迹沉淀的记忆网络实现系统，包括计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
...【技术特征摘要】
1.一种基于印迹沉淀的记忆网络实现方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤s2中，聚类具体为：同时输入一对图片，分别提取特征之后再交换两者相同位置的部分特征再进行重建，改变后的模型损失函数为：
3.如权利要求2所述的一种基于印迹沉淀的记忆网络实现方法，其特征在于：所述步骤s2中，除两张同类别的图片，需额外引入一张不同类别的图片，执行相同的提取特征步骤和重建工作，执行分割操作但不参与交换，三者形成三元组关系：(anchor，positive，negative)，其中anchor和positive为同类别图片，negative为不同类别图片，使用的三元损失函数为：
4.如权利要求3所述的一种基于印迹沉淀的记忆网络实...
【专利技术属性】
技术研发人员：谯钰霖，方效林，钱玮琦，朱同鑫，杨明，
申请(专利权)人：东南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。