在神经网络中进行特征选择及构建神经网络的方法和设备技术

本公开涉及一种在神经网络中进行特征选择的方法和设备。所述方法可以包括：接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及，通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。根据本公开的实施方式，可以以更加高效、更加有效地执行特征选择和训练神经网络，进而可以提高经过训练后的神经网络的可靠性和预测准确度。

Method and apparatus for performing feature selection in neural networks and constructing neural networks

The present disclosure relates to a method and apparatus for feature selection in a neural network. The method comprises: receiving training set includes the feature of feature selection in neural network, the neural network including input layer, middle layer and the output layer and connected to the input sparse layer between the layer and the intermediate layer in the training; and the neural network through the the training set to determine the neural network input layer, middle layer, sparse connection weights between the layer and the output layer, which for the sparse set of sparse constraints, for the input layer is connected with the sparse layer node selection. According to the embodiment of the present disclosure, the feature selection and training of the neural network can be performed more efficiently and efficiently, thereby improving the reliability and the prediction accuracy of the trained neural network.

【技术实现步骤摘要】
在神经网络中进行特征选择及构建神经网络的方法和设备
本公开涉及数据挖掘
，更特别地涉及一种用于在神经网络中进行特征选择的方法和设备以及一种用于构建用于进行特征选择的神经网络的方法和设备。
技术介绍
在大数据时代，可以通过各种数据采集途径获得大量的数据，采集到的数据通常具有非常大的特征维度。然而，在针对采集的数据进行数据挖掘时，并不是所有的特征对于数据挖掘都是有利的。这些特征中有些特征可能是冗余的，而有些特征甚至会对数据挖掘起阻碍作用。因此，需要进行这些特征进行特征选择，以去掉数据中的冗余特征和阻碍特征，从而提高数据挖掘的效率，提升信息提取的效果。在进行数据挖掘时，可以采用神经网络进行特征提取。神经网络是一种通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制出一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。基于神经网络，可以对众多特征进行提取和选择，以得到期望特征。在中国专利申请公开CN1945602A中公开了一种基于神经网络的特征选择技术，其中通过针对神经网络的中间层设置稀疏性约束，使用用户提供的数据集对带有模糊映射层的人工神经网本文档来自技高网...

【技术保护点】
一种在神经网络中进行特征选择的方法，包括：接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。

【技术特征摘要】
1.一种在神经网络中进行特征选择的方法，包括：接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。2.根据权利要求1所述的方法，其中所述稀疏层的节点与所述输入层的节点按照一对一方式连接。3.根据权利要求1所述的方法，其中所述输入层中与被划分为相同特征组的多个待选择特征相关联的多个节点被连接到所述稀疏层中的同一节点。4.根据权利要求1至3任一项所述的方法，其中所述稀疏性约束为KL距离约束。5.根据权利要求4所述的方法，其中所述KL距离约束被包括在用于神经网络训练的目标函数中，且被表示为：其中，λ1指示预先确定的优化参数，j指示所述稀疏层的节点的索引，s1指示所述稀疏层的节点的总数，ρ指示预定的稀疏化参数，指示所述稀疏层中的节点j针对所有训练样本的激活值的平均值，指示KL散度约束。6.根据权利要求5所述的方法，其中所述被表示为：其中m指示所述训练集中的训练样本的数目，指示所述稀疏层的节点j的激活值，x(i)指示第i个训练样本；指示所述输入层相对于所述稀疏层中的节点j的连接权重向量；以及指示所述输入层的偏置节点相对于所述稀疏层中的节点j的偏置值。7.一种构建用于特征选择的神经网络的方法，包括：根据待进行特征选择的特征和输出目标情况，构造神经网络的输入层、中间层和输出层；以及在所述输入层与所述中间层之间构造稀疏层，所述稀疏层连接在所述输入层与所述中间层之间，且针对所述稀疏层设置稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。8.根据权利要求7所述的方法，其中所述输入层的节点与所述稀疏层的节点按照一对一方式连接。9.根据权利要求7所述的方法，其中所述输入层中与被划分为相同特征组的多个待选择特征相关联的多个节点被连接到所述稀疏层中的同一节点。10.根据权利要求7至9其中任一项所述的方法，其中所述稀疏性约束为KL距离约束。11.根据权利要求10所述的方法，其中所述KL距离约束被包括在用于神经网络训练的目标函数中，且被表示为其中，λ1指示预先确定的优化参数，j指示所述稀疏层的节点的索引，s1指示所述稀疏层的节点总数，ρ指示预定的稀疏化参数，指示所述稀疏层中的节点j针对所有训练样本的激活值的平均值，指示KL散度约束。12.根据权利要求11所述的方法，其中所述被表示为：其中m指示训练集中的训练样本的数目，指示所述稀疏层的节点j的激活值，x(i)指示第i个训练样本；指示所述输入层相对于所述稀疏层中的节点j的连接权重向量；指示所述输入层的偏置节点相对于所述稀疏层中的节点j的偏置值。13.一种用于在神经网络中进行特征选择的设备，包括：数据接收模块...

【专利技术属性】
技术研发人员：祁仲昂，胡卫松，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本,JP