一种用于数字图像识别的构建型神经网络参数融合优化方法技术

一种用于数字图像识别的构建型神经网络参数融合优化方法，属于人工智能数字图像识别领域。本方法包括：构建融合优化性能指标；融合优化算法；利用构建的神经网络进行数字图像识别。本发明专利技术还通过收敛性分析验证了本发明专利技术的有效性，其中第一部分为准备环节，第二部分的IOM算法为本发明专利技术的关键技术和实现步骤，第三个部分为理论保证。本发明专利技术提供一种隐含层节点参数和输出层参数的同步联合优化方法，在理论上相比于现有方法具有更小的保守性。本方法生成的构建型神经网络模型比现有方法产生的模型结构更紧凑，冗余节点更少，计算速度更快。相比于现有方法产生的模型在学习阶段的后期，误差收敛的速度更快，收敛精度更高，泛化性能更好。

【技术实现步骤摘要】
一种用于数字图像识别的构建型神经网络参数融合优化方法
本专利技术属于人工智能数字图像识别领域，提出了一种新的针对随机构建型神经网络(Randomizedconstructivenetwork)隐含层节点参数和输出层参数融合优化配置的方法。
技术介绍
本专利技术专利针对随机构建型神经网络隐含层节点的连接权系数与输出层权系数不能同时联合优化的难题，尤其是在大规模神经网络系统中隐含层节点及其权系数数量剧增的情形下，给出了一种能够将隐含层节点权系数与输出层权系数进行联合优化配置的方法，同时给出了该方法的理论形成和证明过程以及相应的迭代算法步骤。本专利技术专利给出的系数融合优化方法及其双边配置条件为人工智能领域神经网络系统大规模参数的随机配置提供了一种新的理论指导方法和实现途径。在人工智能领域，尤其是神经网络模型中，网络的结构和权系数的快速学习算法决定着最终生成的神经网络模型的性能。特别是对于图像的处理往往使用很大的网络结构，而深度的神经网络的训练往往需要花费大量的时间，并且针对网络的结构只能通过实验性质的方法来确定。所以我们针对神经网络对数字图本文档来自技高网...

【技术保护点】
1.一种用于数字图像识别的构建型神经网络参数融合优化方法，其特征在于，步骤如下：/n步骤一、构建融合优化性能指标/n针对给定的训练集

【技术特征摘要】
1.一种用于数字图像识别的构建型神经网络参数融合优化方法，其特征在于，步骤如下：
步骤一、构建融合优化性能指标
针对给定的训练集其中xi为一张图片的像素的输入矩阵；yi为输出矩阵；N为样本个数；n为样本的输入维数；m为样本的类别数量；针对输入矩阵xi，首先采用两组输入权值(ui,vi)作为一张图片的输入矩阵的左侧和右侧的转换向量；因此含有k个隐含层节点的单层神经网络模型产生的拟合函数表示为简写为其中，bk表示偏差；表示第N个样本在第k个节点下的输出；输出层参数矩阵为α＝[αi…αk]T，其中αi＝[αi1…αim]T为参数向量；误差表示为函数形式或者简写为并且定义在输入为矩阵时的隐含层的输出矩阵与第k层隐含层节点的输出矩阵分别为：

和
在(6)式中的数据聚集矩阵Hk进一步表示为Hk＝[Hk-1Φk]，Hk-1为Hk的第1至k-1列组成的矩阵；Hk的伪逆表示为



令其中A11，A12，A21，A22，Uk和Lk为待定的分块矩阵，则有






由2X2的分块矩阵求逆公式获得：






A22＝R-1
其中且为投影矩阵，因此也为投影矩阵，其中，I为单位矩阵；因此(4)式中的分块矩阵Lk进一步表示为：



因此得到求解最小二乘问题的迭代方式为



进一步得到迭代形式的输出层参数的最小二乘解为其中，Y为输出矩阵为
将第二阶段的迭代形式的最小二乘解应满足的条件(6)代入到构建融合优化性能指标步骤如下；



其中，并将(6)式中的Lk代入(7)式，考虑到为投影矩阵，因此得到



令得到



其中，ek-1,q表示输出矩阵的第q列，q表示第q个输出，||·||表示L2-范数，<·>表示内积，根据上述式(9)，得到融合输出层参数最小二乘解约束条件的、针对新增隐含层节点参数的融合优化目标函数



步骤二、融合优化算法
给定训练集令激活函数为设算法生成的最大节点数为kmax,误差容忍水平为ε；算法分为两个阶段，第一阶段中每次循环产生M个候选节点，并将候选节点的参数(ω(i),b(i))在区间[-λ,λ]上随机均匀产生，其中i＝1,…,M；在算法中，用下标加括号的方式表示候补节点的参数，以及其计算产生数值；第二阶段为最小二乘法计算输出层参数；具体实现步骤如下：
(1)初始化拟合误差e0＝[y1,…,yN]，令k＝1，H0＝0...

【专利技术属性】
技术研发人员：谢林柏，张思源，彭力，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32