复值前向神经网络的二阶混合构建方法及系统技术方案

本发明专利技术涉及一种复值前向神经网络的二阶混合构建方法及系统,包括：根据给定的任务对复值神经网络的结构与参数进行初始化；利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件；验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至上一步；若不满足，直接返回至上一步；利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。本发明专利技术有利于自动构建结构合理的复值神经网络模型。

【技术实现步骤摘要】
复值前向神经网络的二阶混合构建方法及系统
本专利技术涉及人工智能与模式识别的
，尤其是指一种复值前向神经网络的二阶混合构建方法及系统。
技术介绍
人工神经网络具有强大的自学习、自组织、自适应及非线性函数逼近能力，能够从看似杂乱无章的海量数据中学习规则与知识。近年来，实值神经网络的研究已经取得了十分丰硕的成果。然而，在一些工程领域中，往往需要对复信号进行分析与处理。复值神经网络凭借其强大的计算能力与良好的泛化性能,已经受到了越来越多的关注，并在各种工业领域中得到了广泛的应用,如雷达信号处理、医学图像处理、信道状态预测、模式识别等。复值神经网络的学习主要包括两个方面:搜索最优参数和确定最优网络结构。前向神经网络学习算法的研究一直是一个非常热门的研究课题，只有设计了合适的学习算法才能使神经网络既高效又准确地解决实际问题。研究发现，复值神经网络有着与实值神经网络相似的结构，其学习算法也大都是从实数域中推广而来的。比如，最常见的学习算法便是复值梯度下降算法。然而，一阶复值优化算法存在收敛速度慢、易陷入局部极小值等缺点。复值神经网络的结构对其性能有着显著影响。因此，在复值神经网络的构建过程中，不仅要考虑参数优化算法的选择，如何设计和优化模型结构也是至关重要的。一个理想的复值神经网络的学习算法应该同时具备搜索最优参数和确定最优网络拓扑结构的能力。
技术实现思路
为此，本专利技术所要解决的技术问题在于如何提供一种结构合理、泛化性能强的复值前向神经网络的二阶混合构建方法及系统。为解决上述技术问题，本专利技术的一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。在本专利技术的一个实施例中，所述复值神经网络是初始的三层复值前向神经网络模型。在本专利技术的一个实施例中，利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。在本专利技术的一个实施例中，对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法经计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，利用复值LM算法计算网络输入层与隐层神经元之间权值的修正量，并对其进行更新。在本专利技术的一个实施例中，所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。在本专利技术的一个实施例中，判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。在本专利技术的一个实施例中，所述代价函数是复变量均方误差函数。在本专利技术的一个实施例中，判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。在本专利技术的一个实施例中，利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。本专利技术还提供了一种复值前向神经网络的二阶混合构建系统，包括：初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。本专利技术的上述技术方案相比现有技术具有以下优点：本专利技术所述的复值前向神经网络的二阶混合构建方法及系统，采用复值混合优化算法分别对复值神经网络的输入层和隐层神经元之间的非线性参数以及隐层神经元和网络输出层之间的线性参数进行更新，通过利用复值增量构建机制实现对复值神经网络的结构优化，不但能够同时实现模型参数的优化和网络结构的自适应设计，二阶混合算法的使用减少了迭代时涉及Wirtinger微分计算的参数个数，加快了学习的收敛速度；而且在网络结构发生变化后，后续的学习完全是在之前学习的基础上继续进行的，极大地提高了学习效率；另外，本专利技术设计的复值增量构建机制能够在多个不同结构的复值神经网络模型中选择最优的模型，避免了耗时的试错过程，同时有利于自动构建结构合理的复值神经网络模型，提高了复值神经网络的泛化性能。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合附图，对本专利技术作进一步详细的说明，其中图1是本专利技术复值前向神经网络的二阶混合构建方法流程图；图2是本专利技术二阶混合构造算法设计复值前向神经网络的框图；图3是本专利技术复数值前向神经网络结构拓扑图；图4是本专利技术实施例提供复数值神经网络单次训练过程；图5a是复值ELM算法的效果图；图5b是复值梯度下降算法的效果图；图5c是复值LM算法的效果图；图5d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；图5e是采用Tanh激励函数的复值二阶混合构建方法的效果图；图6a是复值ELM算法的效果图；图6b是复值梯度下降算法的效果图；图6c是复值LM算法的效果图；图6d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；图6e是采用Tanh激励函数的复值二阶混合构建方法的效果图。具体实施方式实施例一如图1所示，本实施例提供一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述本文档来自技高网...

【技术保护点】
1.一种复值前向神经网络的二阶混合构建方法，其特征在于，包括如下步骤：/n步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；/n步骤S2：利用复值二阶混合优化算法调整所述复值神经网络的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；/n步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；/n步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。/n

【技术特征摘要】
1.一种复值前向神经网络的二阶混合构建方法，其特征在于，包括如下步骤：
步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；
步骤S2：利用复值二阶混合优化算法调整所述复值神经网络的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；
步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；
步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。


2.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值神经网络是初始的三层复值前向神经网络模型。


3.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。


4.根据权利要求3所述的复值前向神经网络的二阶混合构建方法，其特征在于：对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，并对其进行更新，利用复值LM算法得到输入层与隐层神经元之间权值的修正量，并对其进行更新。


5.根据权利要求1或3所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。...

【专利技术属性】
技术研发人员：黄鹤，张书芳，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏;32