一种基于光电器件的存储池运算方法和电子设备技术

本申请公开一种基于光电器件的存储池运算方法和电子设备，涉及机器学习及人工智能领域，应用于光学器件中所搭载的自适应延时存储网络中，自适应延时存储网络包括神经网络单元和水平调制网络单元；水平调制网络单元包括依次连接的光电流输入层模块、第一全连接层模块、第二全连接层模块和调制栅压输出层模块，光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态；第一全连接层模块和第二全连接层模块对多个响应电流进行数据处理，确定多个响应电流对应的电流特征向量信息；调制栅压输出层模块将多个响应电流信息由映射函数转换为调制栅压值，并将调制栅压值传输至存储池层模块，在对应的调制栅压值下得到目标光电响应输出信息。目标光电响应输出信息。目标光电响应输出信息。

【技术实现步骤摘要】
一种基于光电器件的存储池运算方法和电子设备


[0001]本申请涉及机器学习及人工智能领域，尤其涉及一种基于光电器件的存储池运算方法和电子设备。

技术介绍

[0002]随着自动驾驶汽车、智能家居、视频监控等场景的大量应用，应用于物联网的边缘人工视觉系统已成为一个备受关注的研究领域。然而，传统的视觉系统多由分离的传感器、存储器和处理器构成，数据搬运频繁导致了高延迟和功耗。
[0003]为解决上述问题，集成了传感、记忆和处理功能的神经形态视觉系统得到了广泛的研究与发展。然而，在硬件方面，虽然神经形态视觉系统中的新型光电传感器可以表现出高灵敏度和灵活性，但是大多仅用于实现基础的图像预处理功能。在该图像预处理过程中，通常需要较长的信息处理时间，并依赖于额外的计算网络来支持更复杂的功能，从而引入额外的系统延迟和复杂度。在软件方面，目前广泛采用的存储池计算范式在硬件实现过程中由于器件的物理机制及动态响应较为固定，削弱了网络结构的灵活性，限制了其在复杂实际环境中的应用。因此，导致现有的神经形态视觉系统信息处理效率较低，计算成本较高，使用范围较小，其稳定性和可靠性较差。

技术实现思路

[0004]本申请的目的在于提供一种基于光电器件的存储池运算方法和电子设备，以解决现有的神经形态视觉系统信息处理效率较低，计算成本较高，使用范围较小，其稳定性和可靠性较差。
[0005]第一方面，本申请提供一种基于光电器件的存储池运算方法，应用于光学器件中所搭载的自适应延时存储网络中，所述自适应延时存储网络包括神经网络单元和水平调制网络单元；所述神经网络单元包括存储池层模块，所述水平调制网络单元包括依次连接的光电流输入层模块、第一全连接层模块、第二全连接层模块和调制栅压输出层模块；其中，所述存储池层模块和所述水平调制网络单元连接，所述方法包括：
[0006]所述光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态；
[0007]所述第一全连接层模块和所述第二全连接层模块对多个所述响应电流进行数据处理，确定多个所述响应电流对应的电流特征向量信息；
[0008]所述调制栅压输出层模块将多个所述响应电流信息由映射函数转换为调制栅压值，并将所述调制栅压值传输至所述存储池层模块，以供所述神经网络单元控制所述光电器件在对应的所述调制栅压值下得到目标光电响应输出信息。
[0009]采用上述技术方案的情况下，应用于光学器件中所搭载的自适应延时存储网络中，所述自适应延时存储网络包括神经网络单元和水平调制网络单元；所述神经网络单元包括存储池层模块，所述水平调制网络单元包括依次连接的光电流输入层模块、第一全连接层模块、第二全连接层模块和调制栅压输出层模块；其中，所述存储池层模块和所述水平
调制网络单元连接，所述方法包括：所述光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态；所述第一全连接层模块和所述第二全连接层模块对多个所述响应电流进行数据处理，确定多个所述响应电流对应的电流特征向量信息；所述调制栅压输出层模块将多个所述响应电流信息由映射函数转换为调制栅压值，并将所述调制栅压值传输至所述存储池层模块，以供所述神经网络单元控制所述光电器件在对应的所述调制栅压值下得到目标光电响应输出信息，可以同时在感端实现视觉适应和特征提取功能，结合光电传感器件和存储池计算的优势，通过动态调制实现网络性能的优化，同时通过增加可训练的水平调制网络单元，实现系统的实时自主动态调制，为实现高效，低计算成本，适用范围广，性能稳定的边缘视觉系统提供可能。
[0010]在一种可能的实现方式中，所述光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态，包括：
[0011]所述光电流输入层模块，在所述存储池层模块的所述光电器件在接收到光脉冲并生成原始积累响应后，接收所述存储池层模块以响应电流形式输出的虚拟节点状态。
[0012]在一种可能的实现方式中，所述虚拟节点状态为所述光电器件中阵列结构响应于光脉冲，所生成的延迟线上不同时刻的响应电流。
[0013]在一种可能的实现方式中，所述第一全连接层模块和所述第二全连接层模块对多个所述响应电流进行数据处理，确定多个所述响应电流对应的电流特征向量信息，包括：
[0014]所述第一全连接层模块基于第一权重矩阵，结合线性整流激活函数对多个所述响应电流进行压缩处理；
[0015]所述第二全连接层模块基于第二权重矩阵，结合双曲正切激活函数对所述电流特征向量进行维度还原处理，确定多个所述响应电流对应的电流特征向量信息。
[0016]在一种可能的实现方式中，所述第一权重矩阵和所述第二权重矩阵的取值范围分别满足：
[0017]其中，所述W1表示所述第一权重矩阵，所述W2表示所述第二权重矩阵；所述R表示实数集合，所述r表示压缩参数，所述C表示通道数。
[0018]在一种可能的实现方式中，所述电流特征向量信息表示为：
[0019]G＝F
HM
(I,W)＝σ(W2δ(W1I))；
[0020]其中，所述G表示所述电流特征向量信息，所述F
HM
表示所述水平调制网络单元的计算函数；I表示所述电流特征向量，W表示权重矩阵。
[0021]在一种可能的实现方式中，在所述光电流输入层接收存储池层模块以响应电流形式输出的虚拟节点状态之前，所述方法还包括：
[0022]在对所述自适应延时存储网络进行训练时，进行一次前向传播；
[0023]基于交叉熵函数确定网络权重误差值；
[0024]通过反向传播基于所述网络权重误差值对所述神经网络单元和所述水平调制网络单元的权重的梯度进行确定和更新。
[0025]在一种可能的实现方式中，所述神经网络单元还包括分别与所述存储池层模块连接的输入层模块和全连接层模块，以及和所述全连接层模块连接的输出层模块；所述调制栅压输出层模块将所述调制栅压值传输至所述存储池层模块，以供所述神经网络单元控制
所述光电器件在对应的所述调制栅压值下得到目标光电响应输出信息，包括：
[0026]所述调制栅压输出层模块将所述调制栅压值传输至所述存储池层模块，以供所述全连接层和所述输出层控制所述光电器件在对应的所述调制栅压值下得到目标光电响应输出信息。
[0027]在一种可能的实现方式中，所述光电器件接收的所述光脉冲为混合光强MNIST数据集。
[0028]第二方面，本申请还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得执行第一方面任一可能的实现方式描述的基于光电器件的存储池运算方法。
[0029]第二方面提供的电子设备的有益效果与第一方面或第一方面任一可能的实现方式描述的基于光电器件的存储池运算方法的有益效果相同，此处不做赘述。
附图说明
[0030]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光电器件的存储池运算方法，其特征在于，应用于光学器件中所搭载的自适应延时存储网络中，所述自适应延时存储网络包括神经网络单元和水平调制网络单元；所述神经网络单元包括存储池层模块，所述水平调制网络单元包括依次连接的光电流输入层模块、第一全连接层模块、第二全连接层模块和调制栅压输出层模块；其中，所述存储池层模块和所述水平调制网络单元连接，所述方法包括：所述光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态；所述第一全连接层模块和所述第二全连接层模块对多个所述响应电流进行数据处理，确定多个所述响应电流对应的电流特征向量信息；所述调制栅压输出层模块将多个所述响应电流信息由映射函数转换为调制栅压值，并将所述调制栅压值传输至所述存储池层模块，以供所述神经网络单元控制所述光电器件在对应的所述调制栅压值下得到目标光电响应输出信息。2.根据权利要求1所述的基于光电器件的存储池运算方法，其特征在于，所述光电流输入层模块接收存储池层模块以响应电流形式输出的虚拟节点状态，包括：所述光电流输入层模块，在所述存储池层模块的所述光电器件在接收到光脉冲并生成原始积累响应后，接收所述存储池层模块以响应电流形式输出的虚拟节点状态。3.根据权利1所述的基于光电器件的存储池运算方法，其特征在于，所述虚拟节点状态为所述光电器件中阵列结构响应于光脉冲，所生成的延迟线上不同时刻的响应电流。4.根据权利要求1所述的基于光电器件的存储池运算方法，其特征在于，所述第一全连接层模块和所述第二全连接层模块对多个所述响应电流进行数据处理，确定多个所述响应电流对应的电流特征向量信息，包括：所述第一全连接层模块基于第一权重矩阵，结合线性整流激活函数对多个所述响应电流进行压缩处理；所述第二全连接层模块基于第二权重矩阵，结合双曲正切激活函数对所述电流特征向量进行维度还原处理，确定多个所述响应电流对应的电流特征向量信息。5.根据权利要求4所述的基于光电器件的存储池运算方法，其特征在于，所述第一权重矩阵和...

【专利技术属性】
技术研发人员：尚大山，江南佳，李熠，张握瑜，方仁瑞，
申请(专利权)人：中国科学院微电子研究所，
类型：发明
国别省市：