基于制造技术

本发明专利技术涉及

【技术实现步骤摘要】
基于AD
‑
TSK的数据处理方法及系统


[0001]本专利技术涉及
TSK
模糊分类器
，尤其涉及基于
AD
‑
TSK
的数据处理方法及系统
。

技术介绍

[0002]在过去的十多年里，神经网络因其强大的数据学习及特征表征能力，神经网络框架下的深度学习一直是机器学习领域的研究热点，国内外众多学者对此作了广泛研究及推广应用
。
然而，常规的深度神经网络属于确定性模型，不能够处理原始数据中的不确定性
。
因而，常规深度神经网络的决策结果具有有限的可解释性
。
特别地，其内部结构犹如“黑盒”，导致用户无法很好地理解其隐藏层中所有节点参数的状态变化
。
[0003]为了解决上述问题，有研究人员基于可解释性和分类性能较好的
Takagi
‑
Sugeno
‑
Kang(TSK)
模糊系统设计具有栈式结构的模糊深度学习模型，例如基于栈式结构原理，将
TSK
模糊分类器作为子分类器，通过并行学习将子分类器输出扩充到样本特征
、
共享模糊规则语义标签
、
将子分类器输出误差梯度嵌入样本特征及样本特征随机加噪等等方式级联子分类器并构建栈式结构形成不同模糊深度学习模型
。
[0004]现有的
DSA
‑
FC
方法利用
TSK
模糊分类器基于栈式结构原理形成可解释性较好且性能优异的模糊深度系统，然而在所有样本特征中嵌入梯度信息可能会致使模型泛化性能下降，且所涉及的求逆运算使得系统在训练时会产生显著的算开销
。

技术实现思路

[0005]针对现有方法的不足，本专利技术通过主动对抗样本学习方式有效处理数据集中的噪声样本；基于
dropout
方式将子分类器输出误差梯度随机加入到输入样本特征中，以此逐层更新输入样本并构建一种新型栈式结构形成
AD
‑
TSK
；并借助于
Sherman
‑
Morrison
公式及
Schur complement
实现模糊深度系统中每一层子分类器中无需求逆操作的模糊规则后件求解，形成
F
‑
AD
‑
TSK
模型，实现
AD
‑
TSK
模型的快速训练及最优模糊规则数搜索，同时可保证
AD
‑
TSK
的高可解释性
。
[0006]本专利技术所采用的技术方案是：基于
AD
‑
TSK
的数据处理方法包括以下步骤：
[0007]步骤一
、
利用
TSK
模糊分类器训练包含主动对抗样本的训练集进行主动对抗样本学习，生成
ATSK
模糊分类器；
[0008]步骤二
、
逐层训练
ATSK
获得潜在的类别信息，基于攻击标签以
dropout
的方式生成输出误差梯度矩阵，并加入到对应样本特征中以更新选择的输入样本特征，并作为下一层的
ATSK
的输入；
[0009]步骤三
、
重复执行，达到最大层数时停止，得到
AD
‑
TSK
模型
。
[0010]进一步的，还包括：利用
Sherman
‑
Morrison
公式
、Schur complement
和最小学习机，实现在
AD
‑
TSK
每一层子分类器中无需求逆操作，求解模糊规则后件参数，从而保证
AD
‑
TSK
的快速训练和可解释性，得到
F
‑
AD
‑
TSK
模型
。
[0011]进一步的，构建
AD
‑
TSK
模块包括：
[0012]生成
ATSK_m
中所有模糊规则的前件矩阵
U
m
；其中，
ATSK_m
为第
m
层
ATSK
；
[0013]进一步的，前件矩阵
U
m
的公式为：
[0014][0015]其中，
N
为输入的样本数，
x
m,1
、x
m,N
分别为
ATSK_m
中输入数据集的第1和第
N
个样本，分别为
ATSK_m
中第1条和第
R
m
条模糊规则对应的
x
m,1
的归一化后的隶属度函数值，分别为
ATSK_m
中第1条及第
R
m
条模糊规则对应的
x
m,N
的归一化后的隶属度函数值，分别为
x
m,1
、x
m,N
构造向量
。
[0016]利用最小学习机计算所有模糊规则的后件参数
P
m
；
[0017]进一步的，后件参数
P
m
的公式为：
[0018][0019]其中，
τ
代表正则化参数，
U
m
、P
m
及分别代表
ATSK_m
中所有模糊规则的前件矩
、
后件参数及主动对抗样本
X
m
对应的标签集，
I
代表单位矩阵
。
[0020]以
dropout
方式随机在两层
ATSK
子分类器之间确定每一层的输出误差梯度；
[0021]进一步的，输出误差梯度
G
m
(i,j)
的公式为：
[0022][0023][0024]其中，
x
m,ij
为
AD
‑
TSK
的第
m
层中第
i
输入样本的第
j
个特征，
f
r
(x
m,i
)
为
r
条模糊规则
x
m,ij
对应的输出值，及分别为第
r
′
条模糊规则隶属度函数的中心及宽度核，及分别代表第
r
条模糊规则归一化后的隶属度值及后件参数
。
[0025]将
ATSK_m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
AD
‑
TSK
的数据处理方法，其特征在于，包括以下步骤：步骤一
、
利用
TSK
模糊分类器训练包含主动对抗样本的训练集，生成
ATSK
模糊分类器；步骤二
、
逐层训练
ATSK
获得潜在的类别信息，基于攻击标签以
dropout
的方式生成输出误差梯度矩阵，并加入到对应样本特征中以更新选择的输入样本特征，并作为下一层
ATSK
的输入；步骤三
、
重复执行，达到最大层数时停止，得到
AD
‑
TSK
模型
。2.
根据权利要求1所述的基于
AD
‑
TSK
的数据处理方法，其特征在于，还包括：利用
Sherman
‑
Morrison
公式
、Schur complement
和最小学习机，实现在
AD
‑
TSK
每一层子分类器中无需求逆操作，求解模糊规则后件参数，从而保证
AD
‑
TSK
的快速训练和可解释性
。3.
根据权利要求1所述的基于
AD
‑
TSK
的数据处理方法，其特征在于，
AD
‑
TSK
模型的构建包括：生成
ATSK_m
中所有模糊规则的前件矩阵
U
m
，
ATSK_m
为第
m
层
ATSK
；利用最小学习机计算模糊规则的后件参数
P
m
；以
dropout
方式随机在两层
ATSK
之间确定每一层的输出误差梯度；将
ATSK_m
输出误差梯度乘以样本特征学习率，并加入到选择样本特征中以更新选择样本，并将更新后的选择样本作为下一层输入
。4.
根据权利要求3所述的基于
AD
‑
TSK
的数据处理方法，其特征在于，前件矩阵
U
m
的公式为：其中，
N
为输入的样本数，
x
m,1
、x
m,N
分别为
ATSK_m
中输入数据集的第1和第
N
个样本，分别为
ATSK_m
中第1条和第
R
m
条模糊规则对应的
x
m,1
的归一化后的隶属度函数值，分别为
ATSK_m
中第1条及第
...

【专利技术属性】
技术研发人员：石航鸣，史兵，顾苏杭，
申请(专利权)人：常州大学，
类型：发明
国别省市：