基于多层次特征融合的深度TSK模糊分类器制造技术

本发明专利技术提出了一种基于多层次特征融合的深度TSK模糊分类器，包括特征学习模块和知识推理模块；所述特征学习模块为基于卷积神经网络的特征学习模，将原始数据作为基于多层次特征融合的深度TSK模糊分类器的输入，特征学习模块采用局部连接的方式(即卷积核)提取局部信息，并通过逐层的神经表达获得隐含层的深度特征从原始数据中自动提取深层特征；所述知识推理模块为基于TSK模糊分类器的知识推理模块，将深度特征作为模糊规则的训练参数，采用FCM聚类算法生成模糊规则的前件参数，利用原始数据对模糊规则的后件参数进行训练。通过融合卷积神经网络的特征提取能力和模糊表示的不确定性处理能力，形成了一种更易于理解的深层TSK模糊分类器。层TSK模糊分类器。层TSK模糊分类器。

【技术实现步骤摘要】
基于多层次特征融合的深度TSK模糊分类器


[0001]本专利技术涉及分类器的
，特别是一种基于多层次特征融合的深度TSK模糊分类器。

技术介绍

[0002]基于增强深度特征的TSK模糊分类器(ED
‑
TSK
‑
FC)能够针对卷积神经网络的深度特征和潜在类别信息所组成的增强深度特征构建可解释的模糊规则，并对增强深度特征在分类过程中的影响进行语义化解释。
[0003]相较于基于原始数据的TSK模糊分类器，ED
‑
TSK
‑
FC具备更好的分类性能，但是ED
‑
TSK
‑
FC仍然存在一些问题需要解决，例如模糊规则仅仅对增强深度特征具备良好的可解释性，这在一定程度上限制了模型对原始数据的解释能力。同时，在某些场景中，采用的模型必须能够直接对原始数据中出现的异常信息进行识别和解释。

技术实现思路

[0004]本专利技术的目的就是解决ED
‑
TSK
‑
FC在原始数据的特征空间中可解释性不足的问题，提出一种基于多层次特征融合的深度TSK模糊分类器，通过融合卷积神经网络的特征提取能力和模糊表示的不确定性处理能力，形成了一种更易于理解的深层TSK模糊分类器。
[0005]为实现上述目的，本专利技术提出了一种基于多层次特征融合的深度TSK模糊分类器，包括特征学习模块和知识推理模块，所述特征学习模块为基于卷积神经网络的特征学习模块，将原始数据作为基于多层次特征融合的深度TSK模糊分类器的输入，特征学习模块采用局部连接的方式(即卷积核)提取局部信息，并通过逐层的神经表达从原始数据中自动获得隐含层的深度特征；所述知识推理模块为基于TSK模糊分类器的知识推理模块，将深度特征作为模糊规则的前件训练数据，采用FCM(Fuzzy C
‑
MeansAlgorithm)聚类算法生成模糊规则的前件参数，利用原始数据对模糊规则的后件参数进行训练。
[0006]作为优选，所述特征学习模块由输入层、卷积层、池化层、全连接层及输出层构成，所述卷积层、池化层、全连接层分别记做Conv层、Pool层、FC层；首先由多个卷积层和池化层逐层堆叠提取深度特征，采用的卷积层和池化层交替设置，然后通过若干个全连接层和输出层进行分类；
[0007]假设训练数据集为X＝{x
i
,x
i
＝(x1,x2,...,x
n
)
T
,x
i
∈R
n
,i＝1,2,...,N}及标签集其中n代表样本维度，N代表样本的数量，K代表样本的类别；在卷积神经网络中，将第t层的输出结果(特征图)标记为Z
t
，其中Z0代表原始数据x
i
；
[0008]在Conv层中，采用局部连接方式(卷积核W
t
)执行卷积运算，这可以有效减少整个模型的参数量，随后将偏置b
t
添加到特征图中，再采用激活函数f(
·
)进行非线性变换，Conv层的计算过程如下所示：
[0009]Z
t
＝f(W
t
*Z
t
‑1+b
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0010]卷积计算完成后，经过Softplus激活函数的非线性映射，可以进一步提高模型的
特征表示能力；Softplus的数学表达式表示如下：
[0011]f(a)＝log(1+e
a
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0012]其中a表示输入变量；
[0013]在Pool层中，所选用的最大池化操作通过选取池化窗口内的最大值作为结果，从而保留更多的纹理特征；池化过程可以表示如下：
[0014]Z
t
＝Pool(Z
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0015]经过若干次卷积和最大池化操作，将提取到的深度特征输入第一个FC层，在FC层中，层级之间的神经元全部被连接，深度特征被进一步映射到新的特征空间，从而完成分类任务；具体来说，即通过权值W
t
和偏置b
t
进行计算，并利用激活函数f(
·
)进行非线性变换；计算过程如下：
[0016]Z
t
＝f(W
t
·
Z
t
‑1+b
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]卷积神经网络的输出层采用了Softmax激活函数，其输出Z
t
＝(z1,z2,...,z
K
)
T
被转换为对应的概率结果E
i
＝(e1,e2,...,e
K
)
T
，其中K代表类别的总数，计算如下：
[0018][0019]在训练过程中，采用交叉熵损失函数度量卷积神经网络的输出与真实标签的差异，其计算公式如下：
[0020][0021]卷积神经网络的权值W
t
和偏置b
t
通过误差反向传播算法进行迭代和优化；具体来说，即将式(6)的损失值从最后一层反向传播到第一层，并根据每一层的误差进行参数更新；假设W
t
和b
t
的导数为ΔW
t
和Δb
t
，参数更新公式表述如下：
[0022][0023][0024]其中l表示训练迭代次数，θ表示学习率；
[0025]一旦损失函数收敛，就可以确定W
t
和b
t
的最优参数；对于一个测试样本x
test
就可以使用该网络提取任意隐含层的深度特征H
t
′
；提取第一个FC层深度特征并标记为H
σ
＝(h1,h2,...,h
r
)
T
，计算方法如下：
[0026][0027]其中σ代表第一个FC层的网络层索引值。
[0028]作为优选，所述基于多层次特征融合的深度TSK模糊分类器记做CNN
‑
TSK
‑
FC，深度特征H
σ
＝(h1,h2,...,h
r
)
T
和原始数据x
i
＝(x1,x2,...,x
n
)
T
分别作为知识推理模块中模糊分类器前件和后件的输入数据，所述知识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多层次特征融合的深度TSK模糊分类器，其特征在于：包括特征学习模块和知识推理模块，所述特征学习模块为基于卷积神经网络的特征学习模块，将原始数据作为基于多层次特征融合的深度TSK模糊分类器的输入，特征学习模块采用局部连接的方式提取局部信息，并通过逐层的神经表达从原始数据中自动获得隐含层的深度特征；所述知识推理模块为基于TSK模糊分类器的知识推理模块，将深度特征作为模糊规则的前件训练数据，采用FCM聚类算法生成模糊规则的前件参数，利用原始数据对模糊规则的后件参数进行训练。2.如权利要求1所述的基于多层次特征融合的深度TSK模糊分类器，其特征在于：所述特征学习模块由输入层、卷积层、池化层、全连接层及输出层构成，所述卷积层、池化层、全连接层分别记做Conv层、Pool层、FC层；首先由多个卷积层和池化层逐层堆叠提取深度特征，采用的卷积层和池化层交替设置，然后通过若干个全连接层和输出层进行分类；假设训练数据集为X＝{x
i
,x
i
＝(x1,x2,...,x
n
)
T
,x
i
∈R
n
,i＝1,2,...,N}及标签集其中n代表样本维度，N代表样本的数量，K代表样本的类别；在卷积神经网络中，将第t层的输出结果标记为Z
t
，其中Z0代表原始数据x
i
；在Conv层中，采用局部连接方式执行卷积运算，随后将偏置b
t
添加到特征图中，再采用激活函数f(
·
)进行非线性变换，Conv层的计算过程如下所示：Z
t
＝f(W
t
*Z
t
‑1+b
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)卷积计算完成后，经过Softplus激活函数的非线性映射；Softplus的数学表达式表示如下：f(a)＝log(1+e
a
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中a表示输入变量；在Pool层中，所选用的最大池化操作通过选取池化窗口内的最大值作为结果；池化过程可以表示如下：Z
t
＝Pool(Z
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)经过若干次卷积和最大池化操作，将提取到的深度特征输入第一个FC层，在FC层中，层级之间的神经元全部被连接，深度特征被进一步映射到新的特征空间，完成分类任务；通过权值W
t
和偏置b
t
进行计算，并利用激活函数f(
·
)进行非线性变换；计算过程如下：Z
t
＝f(W
t
·
Z
t
‑1+b
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)卷积神经网络的输出层采用了Softmax激活函数，其输出Z
t
＝(z1,z2,...,z
K
)
T
被转换为对应的概率结果E
i
＝(e1,e2,...,e
K
)
T
，其中K代表类别的总数，计算如下：在训练过程中，采用交叉熵损失函数度量卷积神经网络的输出与真实标签的差异，其计算公式如下：卷积神经网络的权值W
t
和偏置b
t
通过误差反向传播算法进行迭代和优化；将式(6)的损失值从最后一层反向传播到第一层，并根据每一层的误差进行参数更新；假设W
t
和b
t
的导数为ΔW
t
和Δb
t
，参数更新公式表述如下：
其中l表示训练迭代次数，θ表示学习率；一旦损失函数收敛，就可以确定W
t
和b
t
的最优参数；对于一个测试样本x
test
就可以使用该网络提取任意隐含层的深度特征H
t
′
；提取第一个FC层深度特征并标记为H
σ
＝(h1,h2,...,h
r
)
T
，计算方法如下：其中σ代表第一个FC层的网络层索引值。3.如权利要求2所述的基于多层次特征融合的深度TSK模糊分类器，其特征在于：所述基于多层次特征融合的深度TSK模糊分类器记做CNN
‑
TSK
‑
FC，深度特征H
σ
＝(h1,h2,...,h
r
)
T
和原始数据x
i
＝(x1,x2,...,x
n
)
T
分别作为知识推理模块中模糊分类器前件和后件的输入数据，所述知识推理模块包括以下算法：其中，表示变量x
n
在第m条规则的模糊子集，∧表示模糊结合算子，表示变量x
n

【专利技术属性】
技术研发人员：张雄涛，翁江玮，蒋云良，刘勇，孙丹枫，
申请(专利权)人：湖州师范学院，
类型：发明
国别省市：