神经网络处理系统技术方案

本发明专利技术提供一种神经网络处理系统，包括至少一突触，突触接收一输入信号，突触具有一外部权重值及一内部权重值，内部权重值会经由外部刺激而产生变化，当内部权重值的变化累积至一临界值时，会同时改变外部权重值，使得输入信号乘上突触的外部权重值会产生一权重信号，一神经元电路连接突触，以接收突触所传输的权重信号，并可计算这些权重信号以输出。本发明专利技术可以同时加速深度学习中的预测及学习功能，并可实现高精确度且具即时学习能力的硬件神经网络。

Neural network processing system

The present invention provides a neural network processing system, including at least one synaptic synapse receives an input signal having an external synaptic weight value and an internal weight value, internal weights will change by an external stimulus, when the internal weights change accumulated to a critical value, will also change the external weight value. The external input signal multiplied by the value of synaptic weights will produce a weight signal, a circuit connected to the synaptic weights of neurons, synaptic transmission of the received signal, and these weights calculated by the output signal. The invention can simultaneously accelerate the prediction and learning function in deep learning, and can realize the hardware neural network with high accuracy and instant learning ability.

【技术实现步骤摘要】
神经网络处理系统
本专利技术是关于一种类神经网络的系统，特别是一种经改良后的神经网络处理系统。
技术介绍
随着软件技术的开发，软件定义的神经网络的深度学习，通过通用的学习过程，大大提升了人工智慧的能力，如图像识别，语音识别，自然语言理解和决策。一种硬件神经网络(HardwareNeuralNetworks，HNN)的出现，更进一步地降低了深度学习系统的硬件尺寸、成本及功耗。HNN由通过突触而相互连接的神经元网络组成，HNN可以有成千上万个突触，其中可以在训练期间，优化突触(synapse)的权重(weight)。请参照图1所示，例如一神经元10可以接收多个输入信号12，在突触14的训练过程中，权重142通常用随机值初始化，并通过微幅的增量以进行改变。通常，突触14的权重142会存储在多位(multi-bit；multi-level)的存储器装置(memory)中。其中，电阻式随机存取存储器(ResistiveRAM，RRAM)的模拟多位准特性可用于储存突触的权重，使用高密度交错式RRAM的突触阵列更加特别，因为它们可以通过分布式权重的储存，完全并行矩阵向量的乘法及权重的更新，以显著提本文档来自技高网...

【技术保护点】
一种神经网络处理系统，其特征在于，所述神经网络处理系统包括：至少一突触，每一所述突触接收一输入信号，所述至少一突触为各自具有一外部权重值及一内部权重值，所述内部权重值会经由外部刺激以产生变化，当所述内部权重值的变化累积至一临界值时，会同时改变所述外部权重值，使得所述至少一输入信号乘上所述至少一突触的所述外部权重值，以产生一权重信号；以及一神经元电路，其连接所述至少一突触，以接收所述至少一突触所传输的所述权重信号，并计算所述至少一权重信号以输出。

【技术特征摘要】
2017.05.11 TW 1061155911.一种神经网络处理系统，其特征在于，所述神经网络处理系统包括：至少一突触，每一所述突触接收一输入信号，所述至少一突触为各自具有一外部权重值及一内部权重值，所述内部权重值会经由外部刺激以产生变化，当所述内部权重值的变化累积至一临界值时，会同时改变所述外部权重值，使得所述至少一输入信号乘上所述至少一突触的所述外部权重值，以产生一权重信号；以及一神经元电路，其连接所述至少一突触，以接收所述至少一突触所传输的所述权重信号，并计算所述至少一权重信号以输出。2.根据权利要求1所述的神经网络处理系统，其特征在于，所述外部权重值经由电性量测以得知。3.根据权利要求2所述的神经网络处理系统，其特征在于，所述电性量测为对电阻、电容、电感、阻抗的量测。4.根据权利要求1所述的神经网络处理系统，其特征在于，所述内部权重值为所述至少一突触的物理结构的差异，其为缺陷数目、元素组成、原子排列、分子形貌、铁电域排列、铁磁域排列。5.根据权利要求4所述的神经网络处理系统，其特征在于，所述物理结构差异均匀或不均匀存在所述至少一突触中。6.根据权利要求1所述的神经网络处理系统，其特征在于，所述内部权重值的变化累积计算方法为梯度下降向后传播规则、尖峰时序相关的可塑性规则、赫布学习规则、Oja学习规则、BCM理论。7.根据权利要求1所述的神经网络处理系统，其特征在于，所述外部刺激为电压或电流。8.根据权利要求1所述的神经网络处理系统，其特征在于，所述外部权重值的改变为具随机性的二元变化，且通过所述内部权重值的累计分布函数以决定改变机率。9.根据权利要求8所述的神经网络处理系统，其特征在于，所述内部权重值的所述累计分布函数为通过脉冲振幅、脉冲宽度、脉冲电压/电流刺激的松弛周期进行调整。10.根据权利要求8所述的神经网络处理系统，其特征在于，计算所述内部权重值以改变所述外部权重值的公式为：

【专利技术属性】
技术研发人员：侯拓宏，张志丞，刘仁杰，
申请(专利权)人：财团法人交大思源基金会，
类型：发明
国别省市：中国台湾,71