一种基于最大混合互相关熵准则的鲁棒核学习方法技术

本申请涉及数据处理技术领域，尤其涉及一种基于最大混合互相关熵准则的鲁棒核学习方法。所述方法包括：获取训练输入数据和训练输出数据；将训练输入数据映射到高维特征空间得到第一训练输入数据；根据第一训练输入数据建立优化模型，并求解模型参数；根据模型参数建立输入数据与输出数据之间的映射关系。本申请提供的方法利用最大混合互相关熵准则对异常干扰不敏感这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务。及分类任务。及分类任务。

【技术实现步骤摘要】
一种基于最大混合互相关熵准则的鲁棒核学习方法


[0001]本申请涉及数据处理
，尤其涉及一种基于最大混合互相关熵准则的鲁棒核学习方法。

技术介绍

[0002]机器学习是一门多领域交叉学科，涉及统计学、概率论、凸分析、逼近论、算法复杂度理论等多门学科。它主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
[0003]经过多年的发展，机器学习已经产生了众多分支，目前最具代表性的方法之一便是核极限学习方法(Kernel Based Extreme Learning Machine,KELM)。根据核方法的思想，通过核映射的方式，确定网络的输入层到隐层之间的连接权和偏置。这样既保留了ELM不需要学习输入层到隐层之间的连接权和偏置的特性，同时又巧妙地避免了随机投影带来的不确定性。因此，KELM常常能够得到更稳定更一般化性能。
[0004]然而，KELM在数据中包含脉冲噪声或者异常值干扰的情况下，学习能力却会大打折扣。这是由于KELM默认采用最小化均方误差(Minimum Mean Square Error,MMSE)准则作为优化准则求解网络输出连接权。众所周知，MMSE要求数据服从高斯假设。然而，实际应用系统中常常伴随着各种复杂噪声的干扰，使得这一假设难以得到保证。所以亟待需要一种新的方法解决在复杂噪声或者异常干扰存在的情况下难以有效地完成回归及分类任务的问题。

技术实现思路

[0005]本申请提供了一种基于最大混合互相关熵准则的鲁棒核学习方法，以解决在复杂噪声或者异常干扰存在的情况下难以有效地完成回归及分类任务的问题。
[0006]一种基于最大混合互相关熵准则的鲁棒核学习方法，所述方法包括：
[0007]获取训练输入数据和训练输出数据；
[0008]将所述训练输入数据映射到高维特征空间得到第一训练输入数据；
[0009]根据所述第一训练输入数据建立优化模型，并求解模型参数；
[0010]根据所述模型参数建立输入数据与输出数据之间的映射关系。
[0011]可选的，所述第一训练输入数据为经过高斯核函数构建的核函数。
[0012]可选的，所述方法包括：采用最大互相关熵准则作为优化准则优化模型。
[0013]可选的，将所述训练输入数据映射到高维特征空间得到第一训练输入数据包括：
[0014]根据得到κ(x
n
,
·
)，其中κ(
·
,
·
)表示一个核函数，σ表示核参数；
[0015]根据得到其中表示x
n
映射到核空间后的特征矢量；
[0016]根据得到所述第一训练输入数据。
[0017]可选的，，根据所述第一训练输入数据建立优化模型，并求解模型参数包括：
[0018]根据所述第一训练数据建立优化模型其中β是模型参数，0≤λ≤1是混合系数，γ≥0是正则化因子，σ1和σ2是核参数，且要求σ1＜σ2；
[0019]采用固定点迭代策略α(t)＝f1(α(t-1))得到α的值，其中Δ＝diag[θ1,
…
,θ
N
]，f1(α)＝(ΦΦ
T
+γΔ-1
)-1
Y；
[0020]根据β＝Φ
T
α得到β。
[0021]可选的，根据所述模型参数建立输入数据与输出数据之间的映射关系包括：
[0022]根据得到
[0023]根据得到输出数据之间的映射关系为
[0024]本申请提供的技术方案包括以下有益技术效果：
[0025]本申请提供了一种基于最大混合互相关熵准则的鲁棒核学习方法。所述方法包括：获取训练输入数据和训练输出数据；将所述训练输入数据映射到高维特征空间得到第一训练输入数据；根据所述第一训练输入数据建立优化模型，并求解模型参数；根据所述模型参数建立输入数据与输出数据之间的映射关系。所述方法利用最大混合互相关熵准则对异常干扰不敏感这一特性，使得其在复杂噪声或者异常干扰存在的情况下仍然能够顺利地完成回归及分类任务。
附图说明
[0026]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本申请实施例提供的一种基于最大混合互相关熵准则的鲁棒核学习方法流程图。
具体实施方式
[0028]混合互相关熵(Mixture Correntropy,MC)是一种基于多高斯核函数的核空间中的局部近似度度量。给定两个任意的随机变量X和Y，它们之间的MC可以表示为
[0029][0030]其中E表示期望操作,表示S个拥有不同核参数的高斯核，表示S
个组合参数(0≤λ
s
≤1且)。在实际应用中，通常仅仅是有限个样本可以利用，因此互相关熵可以由下式进行估计
[0031][0032]为了便于推导，这里仅考虑S＝2的情况，因此上式可以简化为
[0033][0034]在实际应用中，我们可以通过最大化MC来求解模型参数，比如为了估计线性系统的模型参数，可以采用将问题建模为
[0035]其中和Y分别表示实际的和理想的系统输出，ω表示待求解的系统参数。公式就是一个典型的最大互相关熵准则(Maximum Mixture Correntropy Criterion,MMCC)下的优化问题。由于MMCC准则对于非高斯噪声干扰(尤其是脉冲噪声)有着极强的鲁棒性，其在鲁棒的机器学习与信号处理方面非常受欢迎。
[0036]本申请提供了一种基于最大混合互相关熵准则的鲁棒核学习方法，所述方法包括：
[0037]S1：获取训练输入数据和训练输出数据。
[0038]机器学习中一个很常见的问题就是对于给定的训练输入数据X＝[x
1T
，x
2T
，...，x
NT
]T
与训练输出数据Y＝[y
1T
,y
2T
,...,y
NT
]T
，寻找一种函数关系f近似满足y
n
＝f(x
n
),n＝1,2,
…
,N。所以本申请提供的方法也是在寻找训练输出数据与训练输入数据之间的一种函数关系，首先需要得到已经训练好的输入数据和输出数据，在本申请中训练输入数据和训练输出数据都是给定的。
[0039]S2：将所述训练输入数据映射到高维特征空间得到第一训练输入数据。
[0040]具体的步骤如下：
[0041]根据高斯核函数构建一个核函数κ(
·
,
·
)，exp表示以自然常数e为底的指数函数；x和x
’
表示两个随机变量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于最大混合互相关熵准则的鲁棒核学习方法，其特征在于，所述方法包括：获取训练输入数据和训练输出数据；将所述训练输入数据映射到高维特征空间得到第一训练输入数据；根据所述第一训练输入数据建立优化模型，并求解模型参数；根据所述模型参数建立输入数据与输出数据之间的映射关系。2.根据权利要求1所述的基于最大混合互相关熵准则的鲁棒核学习方法，其特征在于，所述第一训练输入数据为经过高斯核函数构建的核函数。3.根据权利要求1所述的基于最大混合互相关熵准则的鲁棒核学习方法，其特征在于，所述方法包括：采用最大互相关熵准则作为优化准则优化模型。4.根据权利要求1所述的基于最大混合互相关熵准则的鲁棒核学习方法，其特征在于，将所述训练输入数据映射到高维特征空间得到第一训练输入数据包括：根据得到κ(x
n
,
·
)，其中κ(
·
,
·
)表示一个核函数，σ表示核参数；...

【专利技术属性】
技术研发人员：王栋，陈霸东，郑云飞，
申请(专利权)人：西安慧脑智能科技有限公司，
类型：发明
国别省市：