一种图小样本学习的存内计算方法、装置和电子设备制造方法及图纸

本发明专利技术公开一种图小样本学习的存内计算方法、装置和电子设备，涉及机器学习及人工智能领域，开发记忆增强图网络模型实现图小样本学习功能，并采用存内计算架构进行硬件实现。方法包括：将编码器的参数进行初始化处理，将图数据集分为训练集和测试集；在训练集中随机选取一个预设类别和预设数量的支持集，将支持集输入至控制器和编码器获得第一二值特征向量；将第一二值特征向量和第一二值特征向量对应的标签存储至外部记忆单元中；在训练集中随机选取一个预设类别和预设数量的查询集，将查询集输入至控制器和编码器获得第二二值特征向量；基于第一二值特征向量和第二二值特征向量确定样本的预测类别，可以快速确定样本类别。别。别。

【技术实现步骤摘要】
一种图小样本学习的存内计算方法、装置和电子设备


[0001]本专利技术涉及机器学习及人工智能领域，尤其涉及一种图小样本学习的存内计算方法、装置和电子设备。

技术介绍

[0002]随着机器学习及人工智能领域的发展，深度学习在人工智能和机器学习中占据极其重要的部分，大数据时代的到来加快了深度学习的发展。但是在实际的开放环境中，数据的获取和标注均是十分耗时耗力的，神经网络需要在有限的样本数量下提高泛化能力。
[0003]记忆增强网络(Memory Augmented Neural Network，MANN)通过引入外部记忆单元，将一些与任务相关的信息保存在外部记忆单元中，在需要的时候可以从外部记忆单元中进行读取，这种学习方法可以有效解决小样本学习问题。在MANN的硬件实现上，可以采用传统的数字电路中央处理器(Central Processing Unit，CPU)加动态随机存取存储器(Dynamic Random Access Memory,DRAM)的方式，但是由于受到冯诺依曼瓶颈的限制，大量数据的存取会导致高延时和高功耗的问题。尽管基于内容可寻址存储器(Content
‑
addressable Memory,CAM)的外部记忆单元能高速并行地进行检索，MANN在算法和硬件实现上仍面临挑战。
[0004]在算法上，由传统的深度学习算法(如卷积神经网络)构成的记忆增强网络能够成功处理欧式空间中的数据，如图像、文本等。但是在位于非欧空间中的图数据上，采用传统卷积神经网络构建记忆增强网络的效果较差。这是由于图数据是不规则的，图中节点间相互连接的特点。图神经网络能够有效提取图数据特征，由其构成的记忆增强网络能实现图的小样本学习，但是该记忆增强网络会面临耗时耗能的参数优化问题。
[0005]在硬件实现上，尽管基于CAM的外部记忆单元能够降低检索时的延时和功耗，MANN的控制器仍然采用GPU实现，在特征提取的过程中导致大量的功耗。此外，由于控制器和外部记忆采用不同的器件结构和外围电路设计，很难将二者集成到同一块芯片上，这限制了MANN网络的扩展。

技术实现思路

[0006]本专利技术的目的在于提供一种图小样本学习的存内计算方法、装置和电子设备，通过开发记忆增强图网络，并利用存内计算器件构成的阵列全硬件实现了记忆增强图网络，解决了图小样本学习面临的算法和硬件实现的问题
[0007]第一方面，本专利技术提供一种图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述方法包括：
[0008]将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
[0009]在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
[0010]将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部
记忆单元中；
[0011]在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
[0012]基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
[0013]采用上述技术方案的情况下，本专利技术提供的图小样本学习的存内计算方法，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，可以通过将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集，在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中，在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量，基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，可以快速确定样本类别，降低耗时降低耗能，提高记忆增强图网络的可靠性和稳定性。
[0014]在一种可能的实现方式中，所述基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，包括：
[0015]确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；
[0016]基于所述特征相似度确定样本的预测类别。
[0017]在一种可能的实现方式中，在基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别之后，所述方法还包括：
[0018]在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；
[0019]基于所述预测误差值更新所述编码器的参数。
[0020]在一种可能的实现方式中，所述在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，包括：
[0021]在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器，通过所述控制器的回声状态图网络对所述图数据集进行特征提取，获得所述图数据集的节点特征；
[0022]将所述节点特征输入至所述编码器，通过所述编码器的二值神经网络，将所述节点特征转换为所述第一二值特征向量。
[0023]在一种可能的实现方式中，所述确定所述第一二值特征向量和所述第二二值特征向量的特征相似度，包括：
[0024]在进行检索时，采用点乘公式计算所述第一二值特征向量和所述第二二值特征向量的所述特征相似度。
[0025]在一种可能的实现方式中，所述训练集和所述测试集的类别不交叉。
[0026]第二方面，本专利技术还提供一种图小样本学习的存内计算装置，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述装置包括：
[0027]初始化模块，用于将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；
[0028]第一获得模块，用于在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；
[0029]第一存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；
[0030]第二获得模块，用于在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；
[0031]第一确定模块，用于基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。
[0032]在一种可能的实现方式中，所述装置还包括：
[0033]第三获得模块，用于在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量；
[0034]第二存储模块，用于将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图小样本学习的存内计算方法，其特征在于，应用于包括相互连接的控制器、编码器和外部记忆单元的记忆增强图网络中，所述方法包括：将所述编码器的参数进行初始化处理，将图数据集分为训练集和测试集；在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量；将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；在所述训练集中随机选取一个所述预设类别和所述预设数量的查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。2.根据权利要求1所述的方法，其特征在于，在所述将图数据集分为训练集和测试集之后，所述方法还包括：在所述测试集中随机选取一个预设类别和预设数量的所述支持集，将所述支持集输入至所述控制器和所述编码器，获得所述第一二值特征向量；将所述第一二值特征向量和所述第一二值特征向量对应的标签存储至所述外部记忆单元中；在所述测试集中随机选取一个所述预设类别和所述预设数量的所述查询集，将所述查询集输入至所述控制器和所述编码器获得第二二值特征向量；基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别，包括：确定所述第一二值特征向量和所述第二二值特征向量的特征相似度；基于所述特征相似度确定样本的预测类别。4.根据权利要求1所述的方法，其特征在于，在基于所述第一二值特征向量和所述第二二值特征向量确定样本的预测类别之后，所述方法还包括：在对所述记忆增强图网络进行训练的过程中，根据所述预测类别和所述标签确定预测误差值；基于所述预测误差值更新所述编码器的参数。5.根据权利要求1所述的方法，其特征在于，所述在所述训练集中随机选取一个预设类别和预设数量的支持集，将所述支持集输入至所述控制器和所述编码器，获得第一二值特征向量，包括：在所述训练集中随机选取一个预设类别和预设数量的所述支持集，将所述支...

【专利技术属性】
技术研发人员：尚大山，张握瑜，王少聪，李熠，
申请(专利权)人：中国科学院微电子研究所，
类型：发明
国别省市：