一种数据分类方法、设备和可读存储介质技术

本发明专利技术提供一种数据分类方法、设备和可读存储介质，涉及数据处理领域。方法包括：获取待分类数据；提取待分类数据的线性特征；将线性特征输入到全指向型自注意力神经网络，得到待分类数据的特征矩阵；对特征矩阵进行归一化处理，得到待分类数据属于各类别标签的预测概率；其中，待分类数据包括n个子数据，n为整数，且n大于或等于2；全指向型自注意力神经网络利用子数据之间的上下文特征、子数据之间的相关性特征以及每一子数据对预测待分类数据的类别标签的重要程度，得到待分类数据的特征矩阵。本发明专利技术可以解决现有技术中数据分类模型通用性差而导致的数据分类预测准确度不高的问题。

【技术实现步骤摘要】
一种数据分类方法、设备和可读存储介质
本专利技术实施例涉及数据处理领域，尤其涉及一种数据分类方法、设备和可读存储介质。
技术介绍
随着深度学习模型在其他领域的成功应用和不断发展，越来越多的研究开始利用音乐的声谱图作为深度学习模型的输入进行音乐流派分类。常用的深度学习算法网络使用时均存在问题：如RNN(RecurrentNeuralNetwork，循环神经网络)只能对部分序列进行记忆，存在梯度消失或梯度爆炸的风险；CNN(ConvolutionalNeuralNetworks，卷积神经网络)的池化操作会损失大量的信息特征；LSTM(LongShort-TermMemory，长短期记忆网络)、GRU(GatedRecurrentUnit，门控循环单元)对于远距离的相互依赖特征无法识别；自注意力机制(Self-Attention)对全局的结构的上下文序列信息无法捕捉。因此，现有技术中的网络模型通用性较差。
技术实现思路
本专利技术实施例提供一种数据分类方法、设备和可读存储介质，解决了现有技术中数据分类模型通用性差而导致的数本文档来自技高网...

【技术保护点】
1.一种数据分类方法，其特征在于，包括以下步骤：/n获取待分类数据；/n提取所述待分类数据的线性特征；/n将所述线性特征输入到全指向型自注意力神经网络，得到所述待分类数据的特征矩阵；/n对所述特征矩阵进行归一化处理，得到所述待分类数据属于各类别标签的预测概率；/n其中，所述待分类数据包括n个子数据，n为整数，且n大于或等于2；/n所述全指向型自注意力神经网络利用所述子数据之间的上下文特征、所述子数据之间的相关性特征以及每一子数据对预测所述待分类数据的类别标签的重要程度，得到所述待分类数据的特征矩阵。/n

【技术特征摘要】
1.一种数据分类方法，其特征在于，包括以下步骤：
获取待分类数据；
提取所述待分类数据的线性特征；
将所述线性特征输入到全指向型自注意力神经网络，得到所述待分类数据的特征矩阵；
对所述特征矩阵进行归一化处理，得到所述待分类数据属于各类别标签的预测概率；
其中，所述待分类数据包括n个子数据，n为整数，且n大于或等于2；
所述全指向型自注意力神经网络利用所述子数据之间的上下文特征、所述子数据之间的相关性特征以及每一子数据对预测所述待分类数据的类别标签的重要程度，得到所述待分类数据的特征矩阵。


2.根据权利要求1所述的数据分类方法，其特征在于，在所述将所述线性特征输入到全指向型自注意力神经网络之后，还包括：
获取所述待分类数据的特征空间，所述特征空间用于计算所述待分类数据与其他数据的相似度。


3.根据权利要求1所述的数据分类方法，其特征在于，所述将所述线性特征输入到全指向型自注意力神经网络，得到所述待分类数据的特征矩阵，包括：
利用卷积神经网络CNN将所述线性特征转换为非线性特征，其中，所述卷积神经网络CNN为未经池化的CNN；
利用双向门控循环单元Bi-GRU从所述非线性特征中提取所述子数据之间的上下文特征；
使用多头注意力机制Multi-HeadSelf-Attention机制，根据所述子数据之间的上下文特征，得到所述子数据之间的相关性特征；
使用注意力机制Attention机制，根据所述相关性特征得到每一子数据对预测所述待分类数据的类别标签的重要程度；
根据所述子数据之间的上下文特征、所述子数据之间的相关性特征以及每一子数据对预测所述待分类数据的类别标签的重要程度，得到所述待分类数据的特征矩阵。


4.根据权利要求3所述的数据分类方法，其特征在于，所述利用双向门控循环单元Bi-GRU从所述非线性特征中提取所述子数据之间的上下文特征，包括：
通过如下方式提取所述子数据之间的上下文特征：









其中：
O为所述待分类数据的非线性特征表示，O＝{o1，o2，...on}；
ot表示第t个子数据输入的非线性特征的向量，t∈[1，n]，t为正整数；

表示第(t-1)个子数据所述Bi-GRU向前的隐层状态的输出；

表示第(t-1)个子数据所述Bi-GRU反向的隐层状态的输出；

表示第t个子数据所述Bi-GRU向前的隐层状态的输出；

表示第t个子数据所述Bi-GRU反向的隐层状态的输出；
当t＝1时，通过预先定义得到；
wt表示第t个子数据所述Bi-GRU对应的向前隐层状态对应的权重；
vt表示第t个子数据所述Bi-GRU对应的反向隐层状态对应的权重；
bt表示第t个子数据隐层状态对应的偏置；
S为所述待分类数据的特征编码，S＝{s1，s2，...sn}；所述待分类数据的特征编码包含子数据之间的上下文特征；
St表示第t个子数据的特征编码，t∈[1，n]，t为正整数。


5.根据权利要求3所述的数据分类方法，其特征在于，所述使用多头注意力机制Multi-HeadSelf-Attention机制，根据所述子数据之间的上下文特征，得到所述子数据之间的相关性特征，包括：
S1：根据所述子数据之间的上下文特征分别通过三种线性变换方式进行线性变换，得到查询向量Q、键向量K和值向量V：
Q＝WQS
K＝WKS
V＝WVS
其中：
S为所述待分类数据的特征编码，S＝{s1，s2，...sn}；所述待分类数据的特征编码包含子数据之间的上下文特征；
WQ为第一线性变换；Q为所述待分类数据的特征编码S经第一线性变换后得到的查询向量；
WK为第二线性变换；K为所述待分类数据的特征编码S经第二线性变换后得到的键向量；
WV为第三线性变换；V为所述待分类数据的特征编码S经第三线性变换后得到的值向量；
S2：将所述查询向量Q、所述键向量K和所述值向量V进行l次线性变换，得到经过l次线性变换的查询向量Ql、键向量Kl和值向量Vl；
其中：
Ql＝QWQl
Kl＝KWKl
Vl＝VWVl
WQl、WKl、WVl均为通过初始化定义的参数；
l为线性变换的次数，l...

【专利技术属性】
技术研发人员：张聪，陈聪，张超，严自强，
申请(专利权)人：咪咕音乐有限公司，咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：四川;51