【技术实现步骤摘要】
本专利技术涉及一种基于改进的超限学习实时情感分类方法。
技术介绍
1、情感分类是对文本中蕴含的态度、喜好和观点的分析，在新闻类文本情感分析问题中，仅仅使用标题中包含的信息对于情感分类来说信息量不够，所以需要利用正文分析新闻文本的情感分类，而利用正文分析新闻文本的情感分类时，面临严重维数灾难的挑战。此外大部分深度学习方法并不是实时高的学习方法，导致难以实时分析长文本的情感。
2、现有技术一般有如下方法：
3、1、长文本的docment匹配一般解决方法
4、(1)直接截断，取top长度，丢失了后面的数据；
5、(2)片段级递归机制，解决长文本依赖，如transformer-xl，一定程度上可以解决长依赖问题(看递归长度)，但模型比较复杂；
6、(3)基于抽取模型，抽取长文本docment的关键句子作为摘要，然后基于此摘要进行匹配模型训练，这样只考虑了摘要，没有考虑其他句子，比较片面。
7、2、实时学习常用方法
8、(1)超限学习机(extreme learning machine，elm)相比于传统的基于梯度下降的bp算法来训练神经网络，elm具有更好的泛化能力和更快的训练速度。elm考虑的主要问题在于高泛化能力、尽可能少的人工干预以及实时学习。
9、(2)支持向量机(support vector machines,svm)是一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。svm的学习策略就是
10、利用正文分析新闻文本的情感分类时，面临严重维数灾难(curse ofdimensionality)挑战，是指在涉及到向量计算的问题中，随着向量维数的增加，计算量呈指数倍增长的一种现象。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，无法达到实时分析的目的。
技术实现思路
1、专利技术目的：在新闻类文本情感分析问题中，新闻的结构包括标题、正文等，一般标题揭示新闻的核心内容，且标题的长度较短，其包含的信息对于情感分类来说信息量不够，所以需要利用正文分析新闻文本的情感分类。
2、利用正文分析新闻文本的情感分类时，面临严重维数灾难挑战，是指在涉及到向量计算的问题中，随着向量维数的增加，计算量呈指数倍增长的一种现象。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，无法达到实时分析的目的。
3、本专利技术通过从正文中提取相关度较高的句子，组成关键句，作为超限学习机的输入，进而解决长文本的实时情感分析问题。本专利技术具体提供一种基于改进的超限学习实时情感分类方法，包括以下步骤：
4、步骤1，训练超限学习机模型；
5、步骤2，实时情感预测；
6、步骤3：加载训练好的超限学习机模型，输入i512,emb进行情感预测，预测结果包括正向、负向、中性。
7、步骤1包括：
8、步骤1-1，给定n个任意不同的训练样本，获得关键句子；n只存在于训练节段，预测时没有；
9、步骤1-2，获取关键句子组成的矩阵；
10、步骤1-3，设h隐藏层的w参数权重矩阵为wemb,m，随机初始化矩阵wemb,m；矩阵wemb,m是随机初始化的，它位于h隐藏层，且是固定不变的，不像传统深度学习方法需要学习调整，其中m表示向量的大小；
11、步骤1-4，得到h隐藏层输出hn,512,m；
12、步骤1-5，对hβ＝t求解线性系统的最小范数最小二乘解
13、步骤1-6，在损失函数不再变化时，将某一轮训练得到的正确率最大的那个超限学习机模型保存起来。
14、步骤1-1中，对n个训练样本进行关键句子计算得到关键句子(这里的关键句子是指跟标题最为相似的几个句子。总长度不大于512)，公式为：
15、
16、其中wij是句子i和句子j的相似度，其值越大，相似度越高；a1表示句子i和句子j都出现的词的数量，a2表示句子i中的词的数量，a3表示句子j中的词的数量。关键句子是跟标题最为相似的句子，且长度之和不能大于512。
17、步骤1-2包括：查询词向量词典，令关键句子组成的矩阵为in,512,emb，512是每个样本关键句子的序列的最大长度，emb代表每个词的向量的长度。
18、步骤1-4包括：令i×w，得到h隐藏层输出hn,512,m，i是训练时的输入矩阵，令h层的输出首尾相连，则h隐藏层输出为hn,512×m，令512×m＝l，得到超限学习机标准hn,l＝hn,512×m，最终的求解就变成hn,512×mβ＝t，也就是hn,lβ＝t，即hβ＝t，其中m、l表示变量，β、t分别表示输出权重，期望输出；不同于超限学习的标准形式，步骤1-4中输入是2维矩阵，隐藏层也是2维矩阵，为了适应超限学习的求解，在h隐藏层输出时将向量首尾相连；
19、步骤1-5中，其中，表示隐层输出矩阵h的moore-penrose的广义逆。
20、步骤2包括：
21、步骤2-1，根据待分类的文本和步骤1-1中的公式得到关键句子(这里的关键句子是指跟标题最为相似的几个句子。总长度不大于512)；
22、步骤2-2，使用已知的词向量词典，通过查询词向量词典把输入的关键句子变成输入矩阵i512,emb。
23、本专利技术还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于改进的超限学习实时情感分类方法。
24、有益效果：
25、本专利技术针对长文本分类训练时间偏长的问题，开展了基于关键句子的超限学习研究，本专利技术把关键句子、词向量技术、标准超限学习机结合在一起，为了适应词向量技术，修改了标准超限学习机模型，把标准超限学习机的输入层变成了2维词向量，隐藏层的权重也变成了2维的，以使模型能够快速的实时的训练和预测。
本文档来自技高网...【技术保护点】
1.一种基于改进的超限学习实时情感分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
3.根据权利要求2所述的方法，其特征在于，步骤1-1中，对N个训练样本进行关键句子计算得到关键句子，公式为：
4.根据权利要求3所述的方法，其特征在于，步骤1-2包括：查询词向量词典，令关键句子组成的矩阵为IN,512,emb，512是每个样本关键句子的序列的最大长度，emb代表每个词的向量的长度。
5.根据权利要求4所述的方法，其特征在于，步骤1-4包括：令I×W，得到H隐藏层输出HN,512,m，I是训练时的输入矩阵，令H层的输出首尾相连，则H隐藏层输出为HN,512×m，令512×m＝l，得到超限学习机标准HN,l＝HN,512×m，最终的求解就变成HN,512×mβ＝T，也就是HN,lβ＝T，即Hβ＝T，其中m、l表示变量，β、T分别表示输出权重，期望输出。
6.根据权利要求5所述的方法，其特征在于，步骤1-4中输入是2维矩阵，隐藏层也是2维矩阵，为了适应超限学习的求解，在H隐藏层输出时
7.根据权利要求6所述的方法，其特征在于，步骤1-5中，其中，表示隐层输出矩阵H的Moore-Penrose的广义逆。
8.根据权利要求7所述的方法，其特征在于，步骤2包括：
9.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.一种基于改进的超限学习实时情感分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
3.根据权利要求2所述的方法，其特征在于，步骤1-1中，对n个训练样本进行关键句子计算得到关键句子，公式为：
4.根据权利要求3所述的方法，其特征在于，步骤1-2包括：查询词向量词典，令关键句子组成的矩阵为in,512,emb，512是每个样本关键句子的序列的最大长度，emb代表每个词的向量的长度。
5.根据权利要求4所述的方法，其特征在于，步骤1-4包括：令i×w，得到h隐藏层输出hn,512,m，i是训练时的输入矩阵，令h层的输出首尾相连，则h隐藏层输出为hn,512×m，令512×m＝l，...
【专利技术属性】
技术研发人员：张大朋，韩立斌，田雨，孙斌，赵文成，陈晓，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。