基于核函数神经网络的指标特征选择方法技术

基于核函数神经网络的指标特征选择方法，包括以下步骤：S1，数据采集；S1

【技术实现步骤摘要】
基于核函数神经网络的指标特征选择方法


[0001]本专利技术涉及模式识别领域，尤其涉及基于核函数神经网络的指标特征选择方法。

技术介绍

[0002]特征值的选择是保障训练出的模型具有良好的性能重要一环，当前通过构建辅助模型的方法实现，逐步回归就是模型构造过程中自动执行特征选择算法；逐步回归法采用逐步增加特征变量进行回归方程的变量显著性检验，忽略了某些变量组合给目标值带来的显著影响特性，以及变量之间关联度的检验。
[0003]利用神经网络从高维特征空间中自动提取特征，特征合成，特征关联性空间探索，能够有效避免仅从特征与目标变量相关性角度单方面评估特征重要性的问题；同时基于神经网络中下采样、上采样和全连接层特征计算特征贡献度，对参与模型训练的特征进行重要性排序，模型执行一次即可计算出所有特征的重要性，让业务人员在不清楚AI知识的情况下也能高效训练，使用业务模型，来选择最佳特征空间和评估真实的目标函数。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的基于核函数神经网络的指标特征选择方法；
[0005]为实现上述目的，本专利技术采用了如下技术方案：基于核函数神经网络的指标特征选择方法包括以下步骤：
[0006]S1，数据采集；
[0007]S1
‑
1,对数据文件或数据仓库的数据标签进行收集；
[0008]S1
‑
2,对各数据进行数据清洗；
[0009]S1
‑
3,数据预处理和分析；
[0010]S2，构建核函数神经网络模型；
[0011]利用核函数将低维空间映射到高维特征空间，增加了神经网络空间神经元复杂度，进一步学习到样本特征与特征关联关系信息，从而能够观测到样本中特征的重要性分布，具体步骤如下：
[0012]S2
‑
1，用户指定需要进行特征选择的特征，i＝1，...N，给出对神经网络进行训练用的训练样本集,预定义目标函数y＝Trans_Func(f1,f2
…
fn)；
[0013]S2
‑
2，根据训练样本，构造依次有输入层，核函数映射层，隐含层，输出层组成的神经网络；
[0014]S2
‑
3，使用用户给出的训练样本集训练初始化之后的神经网络；
[0015]S2
‑
4，对样本输入特征值排序。
[0016]优选地，步骤S2
‑
3包括以下处理过程：
[0017]S2
‑3‑
1，选用均方误差的估计量e作为学习过程中的性能指数,初始化E
←
{(f1,C1),(f2,C2)
…
(fn,Cn)}：
[0018][0019]S2
‑3‑
2，采用反向传播算法对神经网络各层之间的连接权纠正进行训练更新，计算特征图中特征值的贡献度，方法如下：
[0020]§
输出层神经元y
j
的贡献度被初始化为
[0021]§
输出层神经元y
j
值由隐含层神经元p经过一层全连接得到，因此p
i
的贡献度C
pi
可以通过C
yj
和相应的全连接层权重w
piyj
计算得到：
[0022]C
pi
＝w
piyj
C
yj
；
[0023]§
隐含层神经元的贡献度C
hi
可以通过C
pi
和相应的全连接层权重w
hipi
计算得到：
[0024]C
hi
＝w
hipi
C
pi
；
[0025]§
核函数映射层神经元的贡献度C
ki
可以通过C
hi
和相应的全连接层权重w
kihi
计算得到：
[0026]C
ki
＝w
kihi
C
hi
；
[0027]§
输入层w
i
的贡献度C
wj
可以通过其特征值x
wi
与C
hi
计算得到：
[0028]C
wi
＝x
wi
C
ki
；
[0029]S2
‑3‑
3，模型寻优与特征贡献度模型更新Surrogate_model(EI)，具体过程如下：
[0030]§
由目标函数计算模型寻优损失值，反向计算浅层网络层中神经元偏导数，获取神经元权重更新值，依次更新到第一层神经元：
[0031][0032]§
利用上步S2
‑3‑
2中C
wj
公式更新第一层特征图每个特征值对应的C
wj
。
[0033]优选地，针对步骤S2
‑
4，训练好的神经网络模型M包括网络结构、确定的各层神经元权重、确定的输入层特征图中每个特征值对应的C
wj
，此时，结合样本输入特征序列(fl，f2，f3，...)及其在输入层的对应权重，计算各输入特征在第一层所有特征值的C
wj
的加权和，最后的C
wj
即样本每个输入特征的重要性度量，并按重要性的度量值对样本输入特征排序。
[0034]与现有技术相比，本专利技术的有益效果为：该方法避免了数据归一化的难题，鲁棒性高，对噪声特征和几余特征具有好的效果。
具体实施方式
[0035]为使对本专利技术的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
[0036]本专利技术一实施例的基于核函数神经网络的指标特征选择方法，包括以下步骤：
[0037]S1，数据采集；
[0038]S1
‑
1,对数据文件或数据仓库的数据标签进行收集；
[0039]S1
‑
2,对各数据进行数据清洗；
[0040]数据清洗方式包括分箱法、聚类法和回归法，但不限于其中一种；
[0041]S1
‑
3,数据预处理和分析；
[0042]S2，构建核函数神经网络模型；
[0043]利用核函数将低维空间映射到高维特征空间，增加了神经网络空间神经元复杂度，进一步学习到样本特征与特征关联关系信息，从而能够观测到样本中特征的重要性分布，具体步骤如下：
[0044]S2
‑
1，用户指定需要进行特征选择的特征，i＝1，...N，给出对神经网络进行训练用的训练样本集,预定义目标函数y＝Trans_Func(f1,f2
…
fn)；
[0045]训练样本有相同的维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于核函数神经网络的指标特征选择方法，其特征在于：包括以下步骤：S1，数据采集；S1
‑
1,对数据文件或数据仓库的数据标签进行收集；S1
‑
2,对各数据进行数据清洗；S1
‑
3,数据预处理和分析；S2，构建核函数神经网络模型；利用核函数将低维空间映射到高维特征空间，增加了神经网络空间神经元复杂度，进一步学习到样本特征与特征关联关系信息，从而能够观测到样本中特征的重要性分布，具体步骤如下：S2
‑
1，用户指定需要进行特征选择的特征，i＝1，...N，给出对神经网络进行训练用的训练样本集,预定义目标函数y＝Trans_Func(f1,f2
…
fn)；S2
‑
2，根据训练样本，构造依次有输入层，核函数映射层，隐含层，输出层组成的神经网络；S2
‑
3，使用用户给出的训练样本集训练初始化之后的神经网络；S2
‑
4，对样本输入特征值排序。2.如权利要求1所述的基于核函数神经网络的指标特征选择方法，其特征在于：步骤S2
‑
3包括以下处理过程：S2
‑3‑
1，选用均方误差的估计量e作为学习过程中的性能指数,初始化E
←
{(f1,C1),(f2,C2)
…
(fn,Cn)}：S2
‑3‑
2，采用反向传播算法对神经网络各层之间的连接权纠正进行训练更新，计算特征图中特征值的贡献度，方法如下：
§
输出层神经元y
j
的贡献度被初始化为
§
输出层神经元y
j
值由隐含层神经元p经过一层全连接得到，因此p
i
的贡献度C
pi
可以通过C
yj
和相应的全连接层权重w
piyj
计算得到：C
pi
＝w
piyj
C

【专利技术属性】
技术研发人员：宋正华，周必华，王小甫，高虎，张方醒，叶昊，
申请(专利权)人：江苏昆仑互联科技有限公司，
类型：发明
国别省市：