一种增广线性模型及其应用方法技术

一种增广线性模型及其应用方法，在训练阶段，假设有N组训练数据，假设输入数据是L维数据，通过最小二乘算法计算出维纳滤波器参数的最优解，然后计算维纳滤波器的输出，当已知训练阶段的期待数据，通过增广线性模型计算每个数据的瞬时误差，从而得到输入数据和瞬时误差的关系表，对关系表进行量化；在应用阶段中，首先找到与当前测试样本最近的索引以及最近的索引对应的误差，并将该误差作为对当前测试数据瞬时误差的估计，得到当前测试数据瞬时误差值，再根据增广空间线性模型，得到测试数据期待数据的估计值。与非线性滤波器相比，计算复杂度有着明显的优势。与维纳滤波器相比，增广线性滤波器在非线性数据上的性能也获得大幅提高。

An augmented linear model and its application method

An augmented linear model and its application method in the training phase, given a N set of training data, the assumption that the input data is L data, by the least square algorithm to calculate the optimal solution of the parametric Wiener filter, and then calculate the output of the Wiener filter, when the data known training phase, by augmenting the linear model to calculate the instantaneous error of each data the table to get the input data and the instantaneous error, to quantify the relationship table; in the application stage, first find the error corresponding to the index of the current test sample recently and the recent index, and the error is used to estimate the instantaneous error current test data, get the current test data of the instantaneous error, then according to the augmented space linear model, get the test data expected data estimation. Compared with the nonlinear filter, the computational complexity has obvious advantages. Compared with Wiener filter, the performance of the augmented linear filter on nonlinear data is also greatly improved.

【技术实现步骤摘要】
一种增广线性模型及其应用方法
本专利技术属于数据处理领域中的方法研究，涉及一种增广线性模型及其应用方法。
技术介绍
线性模型最早由高斯提出，这种模型将期待数据映射到由输入数据张成的输入空间中，并在输入空间中找到最优模型参数使得损失函数最小。因为线性模型在数学性质、可解释性及鲁棒性等方面较其他模型具有明显优势，被广泛应用在数据处理、控制理论、模式识别、机器学习等多个领域。当数据是非线性的时候，参数的自适应将变得非常复杂，这是因为非线性系统参数寻优时存在大量局部极值点，而通过目前已有的方法和手段很难得到最优解，且其理论分析将变得极为复杂。现有的很多非线性函数拟合方法都以实用为主，缺乏相应的理论支撑。近年来，随着计算机性能大幅提高，数据量的显著增大，人工神经网络依靠其强大的端对端非线性拟合能力，受到工业界的青睐。即便如此，如何减少训练时间以及如何降低网络规模仍然是研究者们探讨的热点。与此同时，核自适应滤波在工程实际中也被广泛运用。这是种单隐层前向网络，通过Mercel核将非线性数据映射到超高维空间甚至无穷维空间当中，并用线性自适应滤波算法得到最优解。另一个受到广泛关注的算法是超限学习机，与核自适应滤波相同，极限学习机也是一种单隐层网络。网络中，隐层的激活函数与隐层权重都是随机产生的，所以网络训练速度很快。但是在实际问题中，为了达到理想的效果，在训练阶段需要一些技巧，例如随机权重服从怎样的分布以及隐层节点的个数都是训练网络时需要考虑的问题。人工神经网络等非线性拟合算法的成功展现了人们对于快速有效的非线性拟合算法的迫切需求。
技术实现思路
本专利技术的目的在于提供一种增广线性模型及其应用方法，将其应用在数据处理领域，提出增广空间线性滤波器，并通过实验证明了滤波器的有效性。为达到上述目的，本专利技术采用了以下技术方案。一种增广线性模型，该增广线性模型的定义为d＝wTu+e(1)其中e是增广线性滤波器的瞬时误差，w是线性维纳滤波器的最优解，u是训练数据的输入数据，d是期待输出数据。一种增广线性模型的应用方法，包括训练阶段和应用阶段；在训练阶段，假设有N组训练数据其中，i表示时间索引，u是训练数据的输入数据，d是期待输出数据，这里假设输入数据是L维数据，通过最小二乘算法计算出维纳滤波器参数的最优解w；根据最优解w后，计算出期待数据在输入空间的投影，即维纳滤波器的输出y：y＝wTu(2)当已知训练阶段的期待数据，首先通过增广线性模型计算每个数据的瞬时误差，该瞬时误差的方向是垂直于L维输入空间的，从而得到输入数据和瞬时误差的关系表，关系表中每个误差的索引是对应的输入数据；对关系表进行量化，输入为N个索引向量，设定量化半径ε，通过度量索引之间的距离得到一个数量小于N的新的索引集，其对应误差为索引中心包含的索引误差的平均值；在应用阶段中，首先通过构建kd树在关系表中找到与当前测试样本最近的索引C(j*)以及最近的索引对应的误差e(j*)，并将该误差作为对当前测试数据瞬时误差的估计，得到当前测试数据瞬时误差值在这里j*表示字典中与当前样本最近的索引是表中的第j*个索引：再根据增广空间线性模型，得到测试数据期待数据的估计值本专利技术进一步的改进在于，通过公式计算出维纳滤波器参数的最优解w：w＝(βI+UUT)-1Ud(5)维纳滤波器参数的最优解w是与输入相同维度的L维向量，其中，U为训练数据的输入数据组成的矩阵，且U＝[u1,u2,…,uN]，d为期待输出数据组成的向量且d＝[d1,d2,…,dN]T，β是最优解的正则项，I表示对角线为1的对角矩阵。本专利技术进一步的改进在于，度量索引之间的距离具体过程如下：用维纳解对输入数据进行加权，然后再用欧式距离度量数据点之间的距离，得到距离最近的点为最近的索引。本专利技术进一步的改进在于，加权通过以下公式进行其中u'表示由维纳解加权后的输入，运算表示Hadamard积，即两个大小相同的向量或矩阵对应项相乘。本专利技术进一步的改进在于，得到一个数量小于N的新的索引集的具体过程如下：首先选择量化半径ε>0，初始化的索引集为C(1)＝{u'1}，其对应的误差集为E(1)＝{e1}；然后利用公式计算当前需要量化的输入索引u'i与当前索引集C(i)的距离dis(u'i,C(i-1))：其中，i为时间索引，j表示字典中的第j个索引；如果最短距离dis(u'i,C(i-1))≤ε，则索引集不变，即C(i)＝C(i-1)，将当前索引u'i量化到离它最近的中心当中；同时，索引u'i的误差也放入对应中心的误差集E(·)中，即E(j*)＝{E(j*),ei}，其中如果最短距离大于所设定的量化半径，则更新索引集C(i)＝{C(i-1),u'i}，同时更新新增索引中包含的被量化的误差：E(size(C(i)))＝{ei}，不断重复上述过程直到完成对所有输入索引的量化。与现有技术相比，本专利技术的有益效果体现在：与传统非线性系统相比，由于本专利技术的增广线性模型是线性模型，所以在训练时间和测试时间上有着巨大优势。人工神经网络需要大量时间训练同时还有避免求解陷入局部极值，而与核自适应滤波与超限学习机也需要计算隐层的输出，相比之下，本专利技术的增广线性模型在训练时只需要简单的进行表的检索得到输出值，所以计算复杂度有着明显优势。与传统线性滤波器相比，增广线性滤波器在非线性拟合方面有着大幅提高。本专利技术的增广线性模型的输出是期待数据在输入空间的投影，假设原始输入是L维数据，增广线性模型将解空间扩展到由期待数据与输入数据共同组成的增广空间当中。由于L+1维线性独立的基可以张成任意L+1维空间，所以增广线性滤波器训练误差为0。同时，增广线性滤波器作为一种线性滤波器，与非线性滤波器相比，计算复杂度有着明显的优势。与维纳滤波器相比，增广线性滤波器在非线性数据上的性能也获得大幅提高。附图说明图1是增广线性滤波器在训练阶段的示意图。图2是增广线性滤波器在测试阶段的示意图。图3是实验所用的Lorenz数据。具体实施方式下面结合附图对本专利技术做进一步说明。参见图1，图1展示了增广空间线性模型与原始线性模型的区别，由于原始线性模型是在输入空间中寻找期待输出数据的投影，维纳滤波器的输出在输入空间中。而在一般非线性问题中，期待数据通常不在输入空间中，所以线性模型难以获得令人满意的结果，本专利技术提出的增广空间线性模型就是在这基础之上，通过一个表记录下增广空间中的期待数据与输入空间中的期待数据投影之间的关系。本专利技术的增广空间线性模型模型的定义为d＝wTu+e(1)其中e是增广线性滤波器的瞬时误差，w是线性维纳滤波器的最优解，u是训练数据的输入数据，d是期待输出数据。对于一个非线性系统，期待输出数据不在由输入数据张成的L维空间当中。增广线性模型将期待数据加入到输入空间中，于是由输入数据与期待数据组成的L+1维空间被定义为增广空间。在这个空间中求出每一组训练数据对应的瞬时误差e，该误差的方向是垂直于L维输入空间的。该增广线性模型的应用方法包含训练阶段与应用阶段两个部分。在训练阶段，假设有N组训练数据其中，i表示时间索引，u是训练数据的输入数据，d是期待输出数据，在这里假设输入数据是L维数据。可以通过最小二乘算法即公式计算出维纳滤波器参数的最优解w：w＝(βI+UUT)-1Ud(5)本文档来自技高网...

【技术保护点】
一种增广线性模型，其特征在于，该增广线性模型的定义为d＝w

【技术特征摘要】
1.一种增广线性模型，其特征在于，该增广线性模型的定义为d＝wTu+e(1)其中e是增广线性滤波器的瞬时误差，w是线性维纳滤波器的最优解，u是训练数据的输入数据，d是期待输出数据。2.一种如权利要求1所述的增广线性模型的应用方法，其特征在于，包括训练阶段和应用阶段；在训练阶段，假设有N组训练数据其中，i表示时间索引，u是训练数据的输入数据，d是期待输出数据，这里假设输入数据是L维数据，通过最小二乘算法计算出维纳滤波器参数的最优解w；根据最优解w后，计算出期待数据在输入空间的投影，即维纳滤波器的输出y：y＝wTu(2)当已知训练阶段的期待数据，首先通过增广线性模型计算每个数据的瞬时误差，该瞬时误差的方向是垂直于L维输入空间的，从而得到输入数据和瞬时误差的关系表，关系表中每个误差的索引是对应的输入数据；对关系表进行量化，输入为N个索引向量，设定量化半径ε，通过度量索引之间的距离得到一个数量小于N的新的索引集，其对应误差为索引中心包含的索引误差的平均值；在应用阶段中，首先通过构建kd树在关系表中找到与当前测试样本最近的索引C(j*)以及最近的索引对应的误差e(j*)，并将该误差作为对当前测试数据瞬时误差的估计，得到当前测试数据瞬时误差值在这里j*表示字典中与当前样本最近的索引是表中的第j*个索引：再根据增广空间线性模型，得到测试数据期待数据的估计值3.根据权利要求2所述的应用方法，其特征在于，通过公式计算出维纳滤波器参数的最优解w：w＝(βI+UUT)-1Ud(5)维纳滤波器参数的最优解w是与输入相同维度的L维向量，其中，U为训练...

【专利技术属性】
技术研发人员：陈霸东，秦正达，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61