模拟生物双向认知能力的新型神经网络模型及训练方法技术

本发明专利技术公开了一种模拟生物双向认知能力的新型神经网络模型及训练方法，该新型神经网络模型由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两个网络结构对称，权值共享，正、负向神经网络相应的连接权值矩阵互为转置关系。本发明专利技术构建了具有结构对称、权值共享的正向神经网络和负向神经网络的协同结构实现了对生物所具有的双向认知能力的模拟；通过在标准BP算法的过程中引入负向学习过程的方式，提出了一种新的神经网络训练方法。

【技术实现步骤摘要】

本专利技术涉及人工神经网络领域，具体涉及一种模拟生物双向认知能力的新型神经网络模型及训练方法。
技术介绍
神经网络是一种模拟人脑结构及其功能的信息处理系统，主要由人工神经元和网络结构组成，其人工神经元模拟生物神经元的信息处理过程，网络结构模拟生物神经系统中神经元的连接方式，而网络连接权值和偏置则负责记忆相应的突触连接状态。作为一门活跃的边缘性交叉学科，正成为机器学习、人工智能、认知科学、神经生理学、非线性动力学等相关领域的研究热点。(1)神经网络模型结构经过多年的发展，目前已有上百种的神经网络模型被提出，在神经网络的研究过程中起到了重要的推动作用，其中有代表性的主要包括：感知机、自适应线性单元、小脑自动机、误差反向传播网络、自适应共振理论、盒中脑BSB网络、新认知机、自组织特征映射网络、Hopfield网络、玻尔兹曼机、双向联想记忆网、双向传播网、深度神经网络等。这些神经网络模型在模拟人的认知行为方面均取得了不错的效果，促进了神经网络在类脑智能研究方面的快速发展。但是，就模拟人的认知行为方式而言，大部分神经网络模型的构建策略都集中在从训练数据中提取由因到果的认知关系，模拟人的“顺向认知过程”。而生物的认知过程往往是双向的，生物既具有“执因索果”的顺向认知能力，又具有“执果索因”的逆向认知能力，对以构建模拟这种双向认知能力为目标的神经网络模型在以往的研究中很少被提及。(2)神经网络训练方法神经网络领域另一个研究的热点问题是网络的训练方法，也称学习方法。从广义上讲，神经网络的学习可分为监督学习、无监督学习、强化学习和半监督学习四种类型。BP算法作为最杰出的监督学习算法，自20世纪80年代中期提出以来，极大的促进和推动了神经网络的发展，成为了神经网络发展史上的一个里程碑。现实任务中使用神经网络时，大多是在使用BP算法进行训练。经过近30年发展，BP算法在网络结构、参数优化等问题的研究上都得到了长足的进步，特别是针对经典BP算法存在的收敛慢、易陷入局部最优和分类泛化能力差等缺点，提出了很多改进学习方法。针对BP算法收敛速度慢的问题，提出的改进方法主要分为新型参数调整策略和新型学习方法两个方向。参数调整，即学习过程中动态地调整学习率、步长等参数来加速网络训练，如变学习率算法、变动量项算法、变梯度算法等；新型学习方法主要是在原有BP算法的基础上借助优化理论和方法来加速网络收敛，如具有高阶收敛的限域牛顿算法、Hessian-free算法、RELM急速学习算法等。针对BP算法训练的神经网络泛化能力差的问题，主要提出了初始权值优化、权值惩罚、权值消除等方法，GA等仿生优化算法和神经网络复合训练的方法，主成分分析和神经网络相结合的方法等。以上改进方法各有所长，但是在收敛速度和泛化性能之间的平衡性问题上还存在着较大的提升空间，同时，上述方法在进行神经网络训练时，优化基础是梯度下降(或者考虑了Hessian矩阵的二阶梯度)算法，对初值有一定的依赖性，因此寻求收敛速度快、泛化性能高的新型学习方法依然是BP算法研究领域中一个重要问题。综上，作为类脑智能研究的有效工具，神经网络的现有研究已初呈体系。但是，现阶段研究中采用的神经网络结构还远远不及生物神经网络的结构复杂，仍然只是对生物神经系统信息处理的初级模拟，从脑科学和神经认知科学寻找借鉴，在理论上发展功能更加强大的类脑计算模型，使神经网络具有环境感知、数据理解以及推理决策能力等方面还有很大的提升空间。生物的认知过程往往是双向的，既具有“执因索果”的顺向认知能力，又具有“执果索因”的逆向认知能力，而对这种双向认知能力的模拟在以往的神经网络研究中很少被提及。另外，神经网络一个突出的重要性质是“学习”。从广义上讲，神经网络的学习可分为监督学习、无监督学习、强化学习和半监督学习四种类型。BP算法作为最杰出的监督学习算法，自20世纪80年代中期提出以来，极大的促进和推动了神经网络的发展，成为了神经网络发展史上的一个里程碑。现实任务中使用神经网络时，大多是在使用BP算法进行训练。但是BP算法一直存在着收敛慢、易陷入局部最优和分类泛化能力差等缺点，虽然研究人员提出过很多算法的改进方法，但是始终没有得到统一的解决。
技术实现思路
为解决上述问题，本专利技术提供了一种模拟生物双向认知能力的新型神经网络模型及训练方法，建立了能够模拟生物“双向认知能力”的互学习神经网络模型；并提出了解决传统神经网络训练方法收敛速度慢和泛化能力差等问题的互学习神经网络训练方法。为实现上述目的，本专利技术采取的技术方案为：模拟生物双向认知能力的新型神经网络模型，由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两个网络结构对称，权值共享。其中，所述正向神经网络(PositiveNeuralNetwork)为经典的含有一个隐层的前馈神经网络，为用于负责学习输入空间到输出空间的映射模型；具体的，设正向神经网络输入层神经元个数为r，输入向量为x＝[x1，x2，…，xr]T∈Rr×1，输出层神经元个数为o，输出向量为隐层神经元个数为p，其网络结构由图1中正向神经网络部分所示。输入层和隐层的连接权值矩阵为Pw1∈Rp×r，偏置项为Pb1∈Rp×1，隐层和输出层的连接权值矩阵为Pw2∈Ro×p，偏置项为Pb2∈Ro×1。其中，所述负向神经网络(NegativeNeuralNetwork)与正向神经网络结构对称，为用于负责学习输出空间到输入空间映射模型；具体的，设负向神经网络输入层神经元个数为o，输入向量为y＝[y1，y2，…，yo]T∈Ro×1，输出层神经元个数为r，输出向量为隐层神经元个数为p，其网络结构由图1中负向神经网络部分所示，输入层和隐层的连接权值矩阵为Nw1∈Rp×o，偏置项为Nb1∈Rp×1；隐层和输出层的连接权值矩阵为Nw2∈Rr×p，偏置项为Nb2∈Rr×1。所述正向神经网络和所述负向神经网络结构对称，依据神经网络的连接结构，可知正、负向神经网络相应的连接权值矩阵互为转置关系，如下式所示：Pw1＝(Nw2)T∈Rp×r，Pw2＝(Nw1)T∈Ro×p；网络训练过程中，通过正、负向神经网络共享连接权值的方式，将原本相互独立的正、负向神经网络结合起来，共同训练网络的连接权值。本专利技术还提供了上述的模拟生物双向认知能力的新型神经网络模型的训练方法，设训练样本总数为m，第j个样本的输入和输出分别为xj，yj，正、负向神经网络计算输出分别为F(x)和G(y)，正、负向神经网络训练样子批量误差均值分别为Ep和En，正、负向神经网络连接权值分别为Pw和Nw，学习率为a，迭代次数为k，则训练方法包括如下步骤：Step1：初始化网络结构，随机初始化正向神经网络权值；Step2：全体训练样本进行随机乱序操作，重新排列样本顺序；按照每组个数为s(批量)，将样本平均分成t个子组(子批量)表示向上取整；Step3：计算正向神经网络子批量均值误差：Step4：更新正向神经网络连接权值：Step5：将步骤3-4循环进行t次；Step6：将正向神经网络连接权值转置赋值给负向神经网：Nw(k+1)＝Pw(k+1)T；Step7：计算负向神经网络子批量均值误差：Step本文档来自技高网...

【技术保护点】
模拟生物双向认知能力的新型神经网络模型，其特征在于，由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两个网络结构对称，权值共享。

【技术特征摘要】
1.模拟生物双向认知能力的新型神经网络模型，其特征在于，由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两个网络结构对称，权值共享。2.如权利要求1所述的模拟生物双向认知能力的新型神经网络模型，其特征在于，所述正向神经网络为经典的含有一个隐层的前馈神经网络，为用于负责学习输入空间到输出空间的映射模型；具体的，设正向神经网络输入层神经元个数为r，输入向量为x＝[x1，x2，...，xr]T∈Rr×1，输出层神经元个数为o，输出向量为隐层神经元个数为ρ，其网络结构由图1中正向神经网络部分所示。输入层和隐层的连接权值矩阵为Pw1∈Rp×r，偏置项为Pb1∈Rp×1，隐层和输出层的连接权值矩阵为Pw2∈Ro×p，偏置项为Pb2∈Ro×1。3.如权利要求1所述的模拟生物双向认知能力的新型神经网络模型，其特征在于，所述负向神经网络与正向神经网络结构对称，为用于负责学习输出空间到输入空间映射模型；具体的，设负向神经网络输入层神经元个数为o，输入向量为y＝[y1，y2，...，yo]T∈Ro×1，输出层神经元个数为r，输出向量为隐层神经元个数为p，其网络结构由图1中负向神经网络部分所示，输入层和隐层的连接权值矩阵为Nw1∈Rp×o，偏置项为Nb1∈Rp×1；隐层和输出层的连接权值矩阵为Nw2∈Rr×p，偏置项为Nb2∈Rr×1。4.如权利要求1所述的模拟生物双向认知能力的新型神经网络模型，其特征在于，所述正向神经网络和所述负向神经网络结构对称，依据神经网络的连接结构，可知正、负向神经网络相应的连接权值矩阵互为转置关系，如下式所示：Pw1＝(...

【专利技术属性】
技术研发人员：刘威，郭旭颖，刘尚，周璇，周定宁，李瑞丰，郭直清，黄敏，张宇，王江，付巍巍，张雪，董艳荣，里莹，黄梓洋，张立忠，鞠兴军，黄玉凯，李雁飞，刘欣，徐煦，赵玉国，张琦，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁;21