融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备技术

本发明专利技术涉及人工神经元及神经网络，具体涉及一种融合神经元模型、神经网络结构及其推理方法和训练方法、计算机可读存储介质及计算机设备，融合神经元模型的每个突触连接权值是任意一个连续可导的非线性的函数，在突触权值上实现线性到非线性的映射，神经网络结构以融合神经元模型作为基本组成单位，构成层次化结构，推理方法是将输入数据代入连接的非线性权值函数中，计算出连接加权结果，再将该神经元所有的加权结果求和，直接传递到下一级神经元，依次前向传递，最后得到识别结果，训练方法是通过反向传播算法和梯度下降算法来优化神经元模型的参数，计算机可读存储介质及计算机设备能够实现推理方法和训练方法的具体步骤。

【技术实现步骤摘要】
融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备
本专利技术涉及人工神经元及神经网络，具体涉及一种融合神经元模型、神经网络结构及其推理方法和训练方法、计算机可读存储介质及计算机设备。
技术介绍
在新科技革命浪潮的推动下，智能化成为未来社会形态演进的必然趋势，人工智能技术在信息化时代中发挥着越来越重要的作用。以人工神经网络为核心的数据处理技术成为现今人工智能的主流方法，它以一种模拟人脑的机制解释数据，并通过组合低层特征形成更加抽象的高层属性。当前，人工神经网络技术在模式识别、图像处理、智能控制、组合优化、金融预测、通信、机器人以及专家系统等领域得到广泛的应用，发挥了基础性的作用，并创造了巨大的经济价值。人工神经网络是在现代神经科学的基础上提出和发展起来的，是一种反映人脑结构和功能的抽象数学模型。自1943年美国心理学家W.McCulloch和数学家W.Pitts提出形式神经元的抽象数学模型—MP模型以来，人工神经网络模型经过了50多年曲折的发展，相关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学的交本文档来自技高网...

【技术保护点】
1.一种融合神经元模型，用于模拟计算器件实现人工神经元及网络计算，其特征在于：/n每个突触连接的权值为连续可导的非线性函数φ(w

【技术特征摘要】
1.一种融合神经元模型，用于模拟计算器件实现人工神经元及网络计算，其特征在于：
每个突触连接的权值为连续可导的非线性函数φ(wi,xi)；
其中，i为神经元相应级数，为大于1的整数；xi为前一级i-1级神经元输入至当前级i级神经元突触连接的输入值；
wi为训练参数，通过以下步骤获得：
S1，为每一个突触的权值随机赋值，作为初始化训练参数wi′；
S2，选取一个batch，代入神经元模型进行推理，得到推理结果；
S3，依据推理结果，根据损失函数，计算相应损失值；
S4，通过反向传播算法，根据权值非线性激活函数计算每一级权值的偏导数；
S5，通过梯度下降法，根据每一级权值的偏导数，将步骤S3得到的损失值最小化，并根据该最小化结果更新初始化训练参数wi′；
S6，重复执行步骤S2至步骤S5，直至所有batch均被代入神经元模型进行推理，最后一个batch执行步骤S2至步骤S5后，得到的更新后的初始化训练参数，即为wi。


2.如权利要求1所述一种融合神经元模型，其特征在于：所述步骤S2具体为：
S2.1，选取一个batch，对该batch进行格式变换，形成一个一维向量；
S2.2，将所述一维向量输入至神经网络的输入层和隐藏层之间的传递矩阵，所述传递矩阵采用连续可导的非线性函数作为元素值，得到一个结果矩阵；
S2.3，将步骤S2.2得到的结果矩阵行向量依次相加，得到一个输出向量；
S2.4，将步骤S2.3得到的输出向量赋值给步骤S2.1形成的一维向量；
S2.5，重复执行S2.2至步骤S2.4，直至到达神经网络的输出层，推理结束，得到推理结果。


3.一种神经网络结构，所述神经网络为前馈网络或反馈网络，其特征在于：包括输入层、隐藏层和输出层；
所述输入层、隐藏层和输出层中每个层次均有至少一个神经元，所述神经元采用权利要求1或2所述的融合神经元模型。


4.一种基于权利要求3所述神经网络结构的推理方法，其特征在于，包括以下步骤：
S1，对输入的batch进行格式变换，形成一个一维向量，输入至模拟计算器件；
S2，通过模拟计算器件，将所述一维向量中的每一个元素，按照对应关系输入至神经网络的输入层和隐藏层之间的传递矩阵，所述传递矩阵采用连续可导非线性函数作为元素值，得到一个矩阵；
S3，将步骤S2得...

【专利技术属性】
技术研发人员：赵卫，臧大伟，程东，杜炳政，谢小平，张佩珩，谭光明，姚宏鹏，
申请(专利权)人：中国科学院西安光学精密机械研究所，中国科学院计算技术研究所，
类型：发明
国别省市：陕西;61