基于预训练随机傅里叶特征核LMS的超参数优化方法技术

基于预训练随机傅里叶特征核LMS的超参数优化方法，它用于核自适应滤波器的超参数优化技术领域。本发明专利技术解决了为保证算法的精度性能以及降低算法计算复杂度，如何获取一组超参数值的问题。本发明专利技术在预训练集合的基础上，实现各维度下的随机傅里叶特征的性能评价，在最小均方误差准则下能够通过预训练得到的最小均方误差值确定最优维度下的一组傅里叶特征超参数取值集合，本发明专利技术的方法减少了达到精度条件所需的随机傅里叶特征的维度从而降低了复杂度，且在自适应滤波系统中提高被建模系统与随机傅里叶特征网络的耦合度，克服了超参数取值由于随机采样差异性带来的稳态性能不稳定的问题。本发明专利技术可以应用于核自适应滤波器的超参数优化技术领域用。

Superparametric optimization method based on pre-training random Fourier feature kernel LMS

Superparametric optimization method based on pre-training stochastic Fourier feature kernel LMS is used in the field of superparametric optimization of nuclear adaptive filters. The invention solves the problem of how to obtain a set of superparametric values in order to ensure the accuracy performance of the algorithm and reduce the computational complexity of the algorithm. Based on the pre-training set, the method realizes the performance evaluation of the random Fourier feature in each dimension. Under the minimum mean square error criterion, a set of superparametric values of the Fourier feature in the optimal dimension can be determined by the minimum mean square error value obtained from the pre-training. The method of the invention reduces the dimension of the random Fourier feature required to achieve the accuracy condition and reduces the dimension of the random Fourier feature. The complexity is reduced, and the coupling degree between the modeled system and the stochastic Fourier characteristic network is improved in the adaptive filtering system, which overcomes the instability of the steady-state performance caused by the difference of random sampling in the value of super-parameters. The invention can be applied to the technical field of superparametric optimization of nuclear adaptive filters.

【技术实现步骤摘要】
基于预训练随机傅里叶特征核LMS的超参数优化方法
本专利技术属于核自适应滤波器的超参数优化
，具体涉及一种基于预训练随机傅里叶特征核LMS(LeastMeanSquare，最小均方算法)的超参数优化方法。
技术介绍
核自适应滤波器是一种核学习方法和传统自适应滤波方法相结合的滤波技术。引入了将原始空间的非线性问题转化为高维特征空间的线性优化问题进行求解的思想。在非线性信号处理的多个领域(非线性系统辨识、非线性时间序列预测、回声消除等)广泛证实了其具有较好的非线性系统建模能力。随机傅里叶特征核最小均方算法是基于核近似技术的一种核自适应滤波算法。其结构本质上是一种单层神经网络模型。核近似技术通过近似核映射函数或核矩阵降低计算复杂度。随机傅里叶特征方法通过近似高斯核得到显式的特征映射表达，从而得以通过迭代的权值网络进行计算，得到接近线性算法的计算复杂度。相比于Nystrom方法，基于随机傅里叶特征的核最小均方算法可以得到一个近似线性算法的计算过程。即使在非平稳下，网络规模不会增长。由Bochner理论可知，高斯核存在一个对应的概率分布p(w)，使得核函数存在无偏估计。为了保证得到实数化的特征，由cos(w′(x-y))近似替代ejw′(x-y)。因此假设存在cos(w′(x-y))＝zw(x)Tzw(y)，使得一组随机基满足zw(x)＝[cos(w′x)sin(w′x)]。为了降低近似误差，进一步采用蒙特卡洛平均方法，即：因此随机特征基可表示为：其中蒙特卡洛样本服从独立同分布。当选择高斯核时，满足N(0,σ2I)。实际工程应用当中，蒙特卡洛样本通过随机采样方法获取并直接用于随机傅里叶特征核最小均方算法的参数赋值。但是直接使用随机采样值会带来随机采样差异问题，如图1所示。100次独立蒙特卡洛采样得到100组w样本集，通过训练随机傅里叶特征核最小均方算法继而得到训练和测试稳态均方误差。得到100组训练和测试稳态均方误差之间的差异值很大。因此，在工程应用中使用随机傅里叶特征核最小均方算法时，为了保证算法的精度性能以及降低计算复杂度，如何获取一组超参数值仍面临着极大的挑战。
技术实现思路
本专利技术的目的是为了解决为保证算法的精度性能和降低计算复杂度，如何获取一组超参数值的问题。本专利技术为解决上述技术问题采取的技术方案是：基于预训练随机傅里叶特征核LMS的超参数优化方法，该方法包括以下步骤：步骤一、给定一组训练集x(i)代表第i组输入信号，d(i)代表第i组期望信号，M代表训练集样本量；从训练集中随机抽取P个样本，得到预训练集步骤二、确定核参数σ的取值，并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm]，其中：D1，D2，Dj和Dm分别代表第1个维度参数的取值，第2个维度参数的取值，第j个维度参数的取值和第m个维度参数的取值；步骤三、对于步骤二的每一个维度均生成N组独立同分布的超参数w集合，超参数w集合满足高斯分布N(0,σ2I)，其中：I是指与输入信号x(i)同维度的单位向量；步骤四、建立预训练随机傅里叶特征核LMS算法，利用步骤一确定的预训练集对建立的算法进行预训练，得到第j个维度下的任一组超参数w集合的稳态均方误差值；步骤五、对于第j个维度下的其他N-1组超参数w集合均重复步骤四的过程，得到第j个维度下的其他N-1组超参数w集合的稳态均方误差值，通过比较得到第j个维度下的最小的稳态均方误差值；步骤六、重复步骤四和步骤五的过程，分别得到其余m-1个维度下的最小的稳态均方误差，将不同维度下的最小的稳态均方误差进行比较，并将最小的稳态均方误差中的最小值对应的超参数w集合的值作为超参数的值。本专利技术的有益效果是：本专利技术的基于预训练随机傅里叶特征核LMS的超参数优化方法，本专利技术的方法基于随机傅里叶特征核最小均方算法，在预训练集合的基础上，实现各维度下的随机傅里叶特征的性能评价，在最小均方误差准则下能够通过预训练得到的最小均方误差值确定最优维度下的一组傅里叶特征超参数取值集合，本专利技术的方法提高了随机傅里叶特征建模的精度，在自适应滤波系统中提高被建模系统与随机傅里叶特征网络的耦合度，克服了超参数取值由于随机采样差异性带来的稳态性能不稳定的问题。在核自适应滤波系统的时间序列预测应用场景下，本专利技术方法在保证相同的精度下，维度可以减小3/4，即计算复杂度平均减小3/4；在核自适应滤波系统的信道均衡应用场景下，本专利技术方法在保证相同的精度下，维度可以减小2/3，即计算复杂度平均减小2/3。附图说明图1是传统核自适应滤波器系统的结构框图；图1中X(1)和X(N)分别代表第1组输入信号和第N组输入信号，Φ(X(1))和Φ(X(N))分别代表第1组输入信号对应的显示特征向量和第N组输入信号对应的显示特征向量；图2是本专利技术方法的流程图；图3是随机傅里叶特征核LMS算法的结构图；图4是在Lorenz混沌时间序列预测的实验中，量化核最小均方算法、随机傅里叶特征核最小均方算法(维度D＝100)、随机傅里叶特征核最小均方算法(维度D＝400)和本专利技术预训练随机傅里叶特征核LMS(预训练随机傅里叶特征核最小均方算法，维度D＝100)的稳态均方误差对比图；图5是在时变信道均衡实验中，量化核最小均方算法、随机傅里叶特征核最小均方算法(维度D＝100)、随机傅里叶特征核最小均方算法(维度D＝300)和本专利技术预训练随机傅里叶特征核LMS(预训练随机傅里叶特征核最小均方算法，维度D＝100)的稳态均方误差对比图。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。具体实施方式一：结合图2说明本实施方式。本实施方式所述的基于预训练随机傅里叶特征核LMS的超参数优化方法，该方法包括以下步骤：步骤一、给定一组训练集x(i)代表第i组输入信号，d(i)代表第i组期望信号，M代表训练集样本量；从训练集中随机抽取P个样本，得到预训练集其中：P取值范围为(1,M)；步骤二、确定核参数σ的取值，并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm]，其中：D1，D2，Dj和Dm分别代表第1个维度参数的取值，第2个维度参数的取值，第j个维度参数的取值和第m个维度参数的取值；步骤三、对于步骤二的每一个维度均生成N组独立同分布的超参数w集合，超参数w集合满足高斯分布N(0,σ2I)，其中：I是指与输入信号x(i)同维度的单位向量；步骤四、建立预训练随机傅里叶特征核LMS算法，(预训练随机傅里叶特征核LMS算法是指：该算法利用的特征映射方法，该特征映射方法可以在同维度下节省一半的超参数w集合的数量)利用步骤一确定的预训练集对建立的算法进行预训练，得到第j个维度下的任一组超参数w集合的稳态均方误差值(MSE)；步骤五、对于第j个维度下的其他N-1组超参数w集合均重复步骤四的过程，得到第j个维度下的其他N-1组超参数w集合的稳态均方误差值，通过比较得到第j个维度下的最小的稳态均方误差值；步骤六、重复步骤四和步骤五的过程，分别得到其余m-1个维度下的最小的稳态均方误差，将不同维度下的最小的稳态均方误差进行比较，并将最小的稳态均方误差中的本文档来自技高网...

【技术保护点】
1.基于预训练随机傅里叶特征核LMS的超参数优化方法，其特征在于，该方法包括以下步骤：步骤一、给定一组训练集

【技术特征摘要】
1.基于预训练随机傅里叶特征核LMS的超参数优化方法，其特征在于，该方法包括以下步骤：步骤一、给定一组训练集x(i)代表第i组输入信号，d(i)代表第i组期望信号，M代表训练集样本量；从训练集中随机抽取P个样本，得到预训练集步骤二、确定核参数σ的取值，并预先设定m个维度参数的取值为[D1,D2,…,Dj,…,Dm]，其中：D1，D2，Dj和Dm分别代表第1个维度参数的取值，第2个维度参数的取值，第j个维度参数的取值和第m个维度参数的取值；步骤三、对于步骤二的每一个维度均生成N组独立同分布的超参数w集合，超参数w集合满足高斯分布N(0,σ2I)，其中：I是指与输入信号x(i)同维度的单位向量；步骤四、建立预训练随机傅里叶特征核LMS算法，利用步骤一确定的预训练集对建立的算法进行预训练，得到第j个维度下的任一组超参数w集合的稳态均方误差值；步骤五、对于第j个维度下的其他N-1组超参数w集合均重复步骤四的过程，得到第j个维度下的其他N-1组超参数w集合的稳态均方误差值，通过比较得到第j个维度下的最小的稳态均方误差值；步骤六、重复步骤四和步骤五的过程，分别得到其余m-1个维度下的最小的稳态均方误差，将不同维度下的最小的稳态均方误差进行比较，并将最小的稳态均方误差中的最小值对应的超参数w集合的值作为超参数的值。2.根据权利要求1所述的基于预训练随机傅里叶特征核LMS的超参数优化方法，其特征在于，所述步骤二中核参数σ的取值范围为[0.01，...

【专利技术属性】
技术研发人员：陈寅生，罗中明，刘玉奇，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23