一种面向高维数据的分类系统及训练方法技术方案

本发明专利技术公开了一种面向高维数据的分类系统及训练方法。系统包括特征提取模块和分类模块；特征提取模块包括，第一至第五卷积层组；每一组的卷积层通道数量倍增，从而提高特征深度；卷积层组包括2到3层一维卷积层和一层池化层；卷积层后串联有整流线性单元，卷积层使用大小为3的一维卷积核；分类模块，具有多层全连接层，全连接层之间，串联有整流线性单元。本发明专利技术将10至15层的以为卷积神经网络，分置在5组卷积层组中，每组卷积层组配合池化层在提高特征深度的同时，约束整体的参数量，获得良好的分类效果。本发明专利技术提供的训练方法，提出了一种新的目标函数，用于准确评估网络模型的性能，因为目标函数包括各种具有代表性的性能评估指标。指标。指标。

【技术实现步骤摘要】
一种面向高维数据的分类系统及训练方法


[0001]本专利技术属于深度学习领域，更具体地，涉及一种面向高维数据的分类系统及训练方法。

技术介绍

[0002]近年来，在信息爆炸时代，大数据在广泛的应用中迅速发展。借助人工智能技术和物联网(Artificial Intelligence Techniques and Internet of Things，AIoT)的集成，我们可以获取人类日常生产生活中各个方面的海量数据。我们通过对这些海量数据进行分析，就可以获得这些数据背后的深层含义。
[0003]现在有许多的分类器可以对数据进行分类，比如最常用的卷积神经网络(Convolutional Neural Network，CNN)分类器。CNN分类器类似于神经网络，利用局部连接、权值共享、多核卷积、池化四个手段大大降低了参数的数目，使得网络的层数可以变得更深，并且能够合理的隐式的提取特征。
[0004]然而对高维数据而言，其复杂性和不稳定性使得现有分类方法也存在一些不可忽略的技术问题：首先针对CNN分类方法而言，其主要问题在于，随着网络深度的增加，计算的复杂度增加却并没有增加模型的分类精度。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种面向高维数据的分类方法和系统，其目的在于在高维数据过于复杂和不稳定而不可行的情况下，提出的方法是一种新的框架，用于保存专家知识的评估意见并提高评估精度。然后，我们引入了一个新的目标函数来准确评估网络模型的性能，因为目标函数包括各种有代表性的性能评估指标，并且计算平均值作为CE评价指标，由此解决克服高维数据过于复杂和不稳定的造成的分类器不灵活和效率不高的技术问题。
[0006]按照本专利技术的一个方面，提供了一种面向高维数据的分类系统，其包括特征提取模块和分类模块；
[0007]所述特征提取模块包括，5组串联的卷积层组，即第一至第五卷积层组；每一组的卷积层通道数量倍增，从而提高特征深度；
[0008]所述卷积层组包括2到3层一维卷积层和一层池化层；
[0009]所述卷积层后串联有整流线性单元，所述卷积层使用大小为3的一维卷积核；
[0010]所述分类模块，具有多层全连接层，所述全连接层之间，串联有整流线性单元。
[0011]优选地，所述面向高维数据的分类系统，其所述第一至第五卷积层组的池化层，即第一至第五池化层，其内核大小为γ
i
，i＝1，2，3，4，5，满足：
[0012]当m≥γ5时，其中内核超参数γ≥2，则γ
i
≥2，i＝1，2，3，4，5，否则：
[0013]γ
i
中有个其值大于等于2，其他值为1；为向下取整运算；
[0014]其中m为高维数据的特征数量。
[0015]优选地，所述面向高维数据的分类系统，其当i≥j时，有γ
i
≤γ
j
。
[0016]优选地，所述面向高维数据的分类系统，其第一至第五卷积层组中，卷积层的数量随着深度增加或保持不变。
[0017]按照本专利技术的另一个方面，提供了所述面向高维数据的分类系统的训练方法，其包括以下步骤：
[0018]获取训练样本数据集D＝((x1，y1)，...，(x
n
，y
n
)}，其中是m维向量，y
i
＝[0，...，r]是表示x
i
的类别的整数，为其特征集合；
[0019]采用的目标函数为实现所述的面向高维数据的分类系统与经典分类系统相比的最大分类精度以及单个特征的最小影响，记作：
[0020][0021]其中，Inc(κ)为基于专家评分的真实分类结果的多重评估指标的准确率的增长率，计算方法如下：
[0022][0023]其中，κ
1D
和κ
1D_CNN
是以κ∈{Accuracy，Jaccard，Recall，F1，Precision，R2，AUC，Avg}表示的多重评估指标的准确率分别对所述的面向高维数据的分类系统与经典分类系统的评价值，其中Accuracy为总体分类精度，Jaccard为Jaccard相似系数，Recall为召回率，F1为β取1时精确度和召回率的调和均值，Precision为精确度，R2为相关系数，AUC和Avg是在Python sklearn模块中的曲线下的面积和它们的平均值，用专家评分的真实分类结果来评估；
[0024]损失函数表示层l的权重向量，表示层l的偏置；表示层l+1的输入，在单个向量中显示w
l
和b
l
的所有参数，将w
l
和b
l
扩充为并将x
l
和1扩充为损失函数表示为：
[0025][0026][0027]其中，是逻辑sigmoid函数。
[0028]优选地，所述面向高维数据的分类系统的训练方法，其采用正向传播进行训练，具体如下：
[0029]正向传播公式为：
[0030][0031]其中，表示深度为l+1的卷积层的权重向量，表示层l的偏置，是层l输出的宽度；为深度为l+1的卷积层的输入；是通过实现非线性变换并充当阈值函数的激活函数。
[0032]优选地，所述面向高维数据的分类系统的训练方法，其采用梯度下降法通过交叉熵损失函数更新网络参数w和b。
[0033]优选地，所述面向高维数据的分类系统的训练方法，其加速收敛具体为：
[0034]计算σ(x)对其参数的导数
[0035][0036]计算的偏导数，如下所示：
[0037][0038][0039]误差反向传播使用损失函数计算误差，然后将误差与参数卷积，将误差传播到前一层，以获得误差如下所示：
[0040][0041]其中，(
·
)
′
表示矩阵转置。然后，权重梯度计算如下：
[0042][0043]优选地，所述面向高维数据的分类系统的训练方法，其在同一神经网络中多次传播数据集，梯度下降法用于如下更新网络参数w和b：
[0044][0045]其中，w
l
和是更新前后的权重，b
l
和是更新前后的偏差，η是学习速率，用于控制参数更新的步长。
[0046]优选地，所述面向高维数据的分类系统的训练方法，其训练数据集具有数量为m的
特征集获取评价值集合获取评价值集合对每个特征f
i
，定义其权重值w
i
，由此获取权重值集获取所有n个样本的特征，可以获取数据集D：
[0047][0048]其中，表示基于专家知识在每个特征f
i
上使用的得分。
[0049]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0050]本专利技术将10至15层的以为卷积神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高维数据的分类系统，其特征在于，包括特征提取模块和分类模块；所述特征提取模块包括，5组串联的卷积层组，即第一至第五卷积层组；每一组的卷积层通道数量倍增，从而提高特征深度；所述卷积层组包括2到3层一维卷积层和一层池化层；所述卷积层后串联有整流线性单元，所述卷积层使用大小为3的一维卷积核；所述分类模块，具有多层全连接层，所述全连接层之间，串联有整流线性单元。2.如权利要求1所述的面向高维数据的分类系统，其特征在于，所述第一至第五卷积层组的池化层，即第一至第五池化层，其内核大小为γ
i
，i＝1，2，3，4，5，满足：当m≥γ5时，其中内核超参数γ≥2，则γ
i
≥2，i＝1，2，3，4，5，否则：γ
i
中有个其值大于等于2，其他值为1；为向下取整运算；其中m为高维数据的特征数量。3.如权利要求2所述的面向高维数据的分类系统，其特征在于，当i≥j时，有γ
i
≤γ
j
。4.如权利要求1所述的面向高维数据的分类系统，其特征在于，第一至第五卷积层组中，卷积层的数量随着深度增加或保持不变。5.如权利要求1至4任意一项所述的面向高维数据的分类系统的训练方法，其特征在于，包括以下步骤：获取训练样本数据集D＝{(x1，y1)，...，(x
n
，y
n
)}，其中是m维向量，y
i
＝[0，...，r]是表示x
i
的类别的整数，为其特征集合；采用的目标函数为实现所述的面向高维数据的分类系统与经典分类系统相比的最大分类精度以及单个特征的最小影响，记作：其中，Inc(κ)为基于专家评分的真实分类结果的多重评估指标的准确率的增长率，计算方法如下：其中，κ
1D
和κ
1D_CNN
是以κ∈{Accuracy，Jaccard，Recall，F1，Precision，R2，AUC，Avg}表示的多重评估指标的准确率分别对所述的面向高维数据的分类系统与经典分类系统的评价值，其中Accuracy为总体分类精度，Jaccard为Jaccard相似系数，Recall为...

【专利技术属性】
技术研发人员：冯晟，沈士根，章生冬，赵利平，王卫星，英昌甜，王思仪，
申请(专利权)人：绍兴文理学院，
类型：发明
国别省市：