一种神经语义记忆存储方法技术

本发明专利技术公开了一种神经语义记忆存储方法，属于机器学习中小样本补偿的一种技术，一种神经语义记忆存储方法，本方案通过外部存储记忆机制中存放的信息是语义信息，即是在单层神经网络所表示的图的基础上计算相似度，其是在特征表示h的基础上抽象出的语义信息，更具表现力在整个存储中，其大小仅和类别相关，即类别的多少就是存储记忆的大小，这不仅减少存储空间的需求，在检索时也更加方便、省时，首次提出在记忆搜索中，利用变分思想，从外部记忆机制中产生相关语义的分布，而不是简单的语义信息，在该分布的基础上，通过采样技术多次取值平均，这在很大程度上增强了搜索得到语义信息的泛化能力，可以在很大程度上提升小样本学习下的系统性能。

【技术实现步骤摘要】
一种神经语义记忆存储方法
本专利技术涉及记忆领域，更具体地说，涉及一种神经语义记忆存储方法。
技术介绍
记忆是人脑对经验过事物的识记、保持、再现或再认，它是进行思维、想象等高级心理活动的基础，人类记忆与大脑海马结构、大脑内部的化学成分变化有关。记忆作为一种基本的心理过程，是和其他心理活动密切联系着的，记忆联结着人的心理活动，是人们学习、工作和生活的基本机能，把抽象无序转变成形象有序的过程就是记忆的关键。关于记忆的研究属于心理学或脑部科学的范畴，现代人类对记忆的研究仍在继续，尽管当今的科学技术已经有了长足的发展，运用那些经过实践后能有效提高记忆力的方法、技巧，可以使之更好地服务于人类的工作、生活、学习中。识记是记忆过程的开端，是对事物的识别和记住，并形成一定印象的过程，保持是对识记内容的一种强化过程，使之能更好地成为人的经验，回忆和再认是对过去经验的两种不同再现形式，记忆过程中的这三个环节是相互联系、相互制约的，识记是保持的前提，没有保持也就没有回忆和再认，而回忆和再认又是检验识记和保持效果好坏的指标，由此看来，记忆的这三个环节缺一不可，记忆的基本过程也可简单的分成“记”和“忆”的过程，“记”包括识记、保持，“忆”包括回忆和再认。信息加工理论认为，记忆过程就是对输入信息的编码、存储和提取过程，只有经过编码的信息才能被记住，编码就是对已输入的信息进行加工、改造的过程，编码是整个记忆过程的关键阶段。
技术实现思路
1.要解决的技术问题针对现有技术中存在的问题，本方案通过外部存储记忆机制中存放的信息是语义信息，即是在单层神经网络所表示的图的基础上计算相似度，其是在特征表示h的基础上抽象出的语义信息，更具表现力，在整个存储中，其大小仅和类别相关，即类别的多少就是存储记忆的大小，这不仅减少存储空间的需求，在检索时也更加方便、省时，首次提出在记忆搜索中，利用变分思想，从外部记忆机制中产生相关语义的分布，而不是简单的语义信息，在该分布的基础上，通过采样技术多次取值平均，作为得到的语义信息，这在很大程度上增强了搜索得到语义信息的泛化能力，可以在很大程度上提升小样本学习下的系统性能。2.技术方案为解决上述问题，本专利技术采用如下的技术方案。一种神经语义记忆存储方法，包括以下步骤：S1、记忆存储M的建立，其是以类别无关的方式建立，即对于分类任务，每个类别的存储单元Mc是在类别c的数据基础上生成，与其他类别无关，为了更好体现语义层面的信息，其中建立M过程中一部分用神经网络实现图的相似性计算，其参数为w。S2、检索部分，与其他记忆方法不同之处在于，其中检索出来的信息不是单纯的信息表示，而是以概率分布的形式表示出来，即给定新图像I，在M中寻找和支持集相关的知识，用概率分布形式表示：q(m|M，hI)，其中涉及到参数S3、参数学习阶段，即用一些任务集数据，学习得到需要确定的两个参数。进一步的，所述输入：T个任务的支持数据集St，每一个支持数据集St包括C类样本数据，单层神经网络参数w，输出：建立的神经语义记忆存储方法M，步骤1：对不同的任务t＝1:T，执行以下操作：步骤1.1对任务t中的类别c＝1:C，执行以下操作，步骤1.1.1判断类别c对应的存储空间Mc是否为空，如果不为空，执行步骤1.1.3；步骤1.1.2将支持集中任务t中类别c的样本通过一个特征提取网络(可以是任意一个网络，这里选用VGG16网络)，提取特征放入到Mc中；步骤1.1.3将支持集中任务t中类别c的样本i＝1:Nc通过一个特征提取网络，提取特征计算和Mc的结构相似性如下：进一步的，所述其中[.,.]表示拼接操作，f函数使用一个单层的前馈网络生成，参数为w，T表示转置，这种相似度的计算方法，是在特征表示h构成的图的基础上抽取相似性，其具有语义信息，步骤1.1.4对Mc中的样本进行线性组合生成如下：其中，σ为非线性激活函数，可以选择任意一种常见的激活函数。进一步的，所述步骤1.1.5更新类别c对应的存储内容Mc如下：其中α为0到1之间的一个超参。进一步的，所述步骤1.2对所有类别完成步骤1.1.1-步骤1.1.5的操作，形成M＝[M1,…,Mc]，步骤2对所有任务执行步骤1.1到步骤1.2的操作，更新M，输入：神经语义记忆存储方法M，新图像I，参数输出：和新图像I相关的语义表示m。进一步的，所述步骤1：通过一个特征提取网络(VGG)，提取图像I特征hI，计算hI和Mc(c＝1:C)的结构相似性如下：f(Mc，hI)＝LeakyReLU(wT[Mc，hI])进一步的，所述步骤2：计算图像I在记忆存储每个类别单元c＝1:C的比重，进一步的，所述步骤3：建立多层感知神经网络，参数为用其替代概率函数p(m|Mc)，这里假设概率分布为高斯分布，且高斯分布中的协方差矩阵为对角阵，则在该多层感知神经网络中，输入为Mc，输出为表征分布特性的均值和方差向量，步骤4：计算概率如下：进一步的，所述步骤5：从步骤4的分布中采样J个样本，将样本均值作为从记忆机制中检索的和图像I相关的语义信息如下：进一步的，所述在神经语义记忆存储方法检索过程中，隐含了一个用变分推理实现的分布近似的操作，即用q(m|M，hI)代替p(m|hI)，在这种近似中可以看出，通过引入外部记忆M，可以有效建立以往任务中的语义知识和新图像(新任务)的关联，因此在正常的小样本学习任务中，对损失函数加入一项约束条件，将参数w和参数引入到损失函数，就可以用正常的梯度下降对参数估计。3.有益效果相比于现有技术，本专利技术的优点在于：(1)本方案通过外部存储记忆机制中存放的信息是语义信息，即是在单层神经网络所表示的图的基础上计算相似度，其是在特征表示h的基础上抽象出的语义信息，更具表现力，在整个存储中，其大小仅和类别相关，即类别的多少就是存储记忆的大小，这不仅减少存储空间的需求，在检索时也更加方便、省时，首次提出在记忆搜索中，利用变分思想，从外部记忆机制中产生相关语义的分布，而不是简单的语义信息，在该分布的基础上，通过采样技术多次取值平均，作为得到的语义信息，这在很大程度上增强了搜索得到语义信息的泛化能力，可以在很大程度上提升小样本学习下的系统性能。(2)输入：T个任务的支持数据集St，每一个支持数据集St包括C类样本数据，单层神经网络参数w，输出：建立的神经语义记忆存储方法M，步骤1：对不同的任务t＝1:T，执行以下操作：步骤1.1对任务t中的类别c＝1:C，执行以下操作，步骤1.1.1判断类别c对应的存储空间Mc是否为空，如果不为空，执行步骤1.1.3；步骤1.1.2将支持集中任务t中类别c的样本通过一个特征提取网络(可以是任意一个网络，这里选用VGG16网络)，提取特征放入到Mc中；步骤1.1.3将支持集中任务t中类别c的样本i＝1:Nc通过一个特征提取网络，提取特征计算和Mc的结构相似性如下：<本文档来自技高网...

【技术保护点】
1.一种神经语义记忆存储方法，其特征在于，包括以下步骤：/nS1、记忆存储M的建立，其是以类别无关的方式建立，即对于分类任务，每个类别的存储单元M

【技术特征摘要】
1.一种神经语义记忆存储方法，其特征在于，包括以下步骤：
S1、记忆存储M的建立，其是以类别无关的方式建立，即对于分类任务，每个类别的存储单元Mc是在类别c的数据基础上生成，与其他类别无关，为了更好体现语义层面的信息，其中建立M过程中一部分用神经网络实现图的相似性计算，其参数为w。
S2、检索部分，与其他记忆方法不同之处在于，其中检索出来的信息不是单纯的信息表示，而是以概率分布的形式表示出来，即给定新图像I，在M中寻找和支持集相关的知识，用概率分布形式表示：q(m|M，hI)，其中涉及到参数
S3、参数学习阶段，即用一些任务集数据，学习得到需要确定的两个参数。


2.根据权利要求1所述的一种神经语义记忆存储方法，其特征在于：所述输入：T个任务的支持数据集St，每一个支持数据集St包括C类样本数据，单层神经网络参数w，输出：建立的神经语义记忆存储方法M，步骤1：对不同的任务t＝1:T，执行以下操作：
步骤1.1对任务t中的类别c＝1:C，执行以下操作；
步骤1.1.1判断类别c对应的存储空间Mc是否为空，如果不为空，执行步骤1.1.3；
步骤1.1.2将支持集中任务t中类别c的样本通过一个特征提取网络(可以是任意一个网络，这里选用VGG16网络)，提取特征放入到Mc中；
步骤1.1.3将支持集中任务t中类别c的样本i＝1:N，通过一个特征提取网络，提取特征计算和Mc的结构相似性如下：





3.根据权利要求1所述的一种神经语义记忆存储方法，其特征在于：所述其中[.,.]表示拼接操作，f函数使用一个单层的前馈网络生成，参数为w，表示转置，这种相似度的计算方法，是在特征表示h构成的图的基础上抽取相似性，其具有语义信息，步骤1.1.4对Mc中的样本进行线性组合生成如下：其中，σ为非线性激活函数，可以选择任意一种常见的激活函数。


4.根据权利要求1所述的一种神经语义记...

【专利技术属性】
技术研发人员：张磊，常峰贵，李欣，甄先通，左利云，胥亮，黄镕，
申请(专利权)人：广东石油化工学院，山东硅步机器人技术有限公司，
类型：发明
国别省市：广东;44