一种基于注意力机制的金融事件修饰时态的分析方法技术

本发明专利技术公开了一种基于注意力机制的金融事件修饰时态的分析方法，属于数据处理技术领域；本分析方法的核心思想为：将输入文本向量化后，应用深度学习神经网络技术，结合注意力机制技术，对输入的文本向量做高维度的特征学习，目标是学习到时态最相关的高维度特征，最后依据学习到的特征做输出判断时态；本发明专利技术旨在解决现有技术中更多依赖人为编辑规则的缺陷，从而提高效率，增强可扩展性；应用注意力机制做时态分析可以获得更加丰富的文本特征，提高了输出结果的精度，大大减少了误差并提高了效率。

An analysis method of financial event modifying tense based on attention mechanism

The invention discloses an analysis method of financial event modification tense based on attention mechanism, which belongs to the field of data processing technology. The core idea of the analysis method is: after the input text is quantified, the in-depth learning neural network technology is applied, and the attention mechanism technology is combined to do high-dimensional feature learning for the input text vector, with the goal of learning the most relevant tense The invention aims to solve the defects in the prior art that more rely on human editing rules, so as to improve efficiency and scalability; the application of attention mechanism to temporal analysis can obtain more rich text features, improve the accuracy of output results, greatly reduce errors and improve efficiency.

【技术实现步骤摘要】
一种基于注意力机制的金融事件修饰时态的分析方法
本专利技术涉及数据处理
，特别涉及一种基于注意力机制的金融事件修饰时态的分析方法。
技术介绍
最近几年，随着深度学习技术的不断发展，越来越多的研究应用到自然语言处理中。注意力机制是主要研究领域之一，深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。金融事件修饰时态的分析方法在许多领域都有广泛的应用，尤其是在金融、财务以及法律等领域，其主要目的在于探讨当某一事件发生时(如公司股利宣告或盈余发布等事件)是否会引起股价的异常变动，因而导致异常报酬率，研究结果可以用来了解市场证券价格与特定事件是否具有关联性，主要实施方法是利用统计方法检定异常报酬率状况，即检定期望异常报酬率是否为零，由于经济金融类的特殊属性，文本中词汇的时效性对投资参考价值具有重要意义。但是由于中文缺乏明显的时态标记，无论是古汉语还是现代汉语。不同于印欧语言，形态变化有那么明显，例如英语动词有现在时、过去时和过去分词等形态。尽管如此，中文还是具有自己的特点，例如时间词(昨天|明天)、动态助词(着|过)、上下文语境等。但是这些特点很难完全形成规则来识别和判断文本的时态，现在有较多的中文文本处理场景，应用到注意力机制，然而中文时态分析更多是靠人为编辑的规则，无法实现自动化新特征发现，维护这些规则的效率也相对较低，可扩展性差。
技术实现思路
本专利技术目的在于提供一种金融事件修饰时态的分析方法，旨在解决现有技术中更多依赖人为编辑规则的缺陷，从而提高效率，增强可扩展性。为了解决上述技术问题，本专利技术是通过以下技术方案实现的：一种基于注意力机制的金融事件修饰时态的分析方法，包括以下步骤：步骤a：整理并输入原始文本，将所述原始文本作分词处理形成词汇；步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input；步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix；步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值；步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构，直至结果的精度收敛到相对高并且稳定的值时输出最终结果；相关定义如下：1)分词，是用分词工具软件对一段文本做切分，分成合适的词汇；2)词向量，是一种将词汇输入深度神经网络后，生成的向量；3)词性向量，是在分词的同时，保存该词汇的词性标记，将词性标记输入深度神经网络后，生成的向量；4)位置序号，是分词后得到词汇，该词汇在整个序列的位置序号；5)线性空间映射函数，是一种广义性质上，用于线性矩阵相乘的函数；6)注意力机制模块，是一种广义性质上，向量或矩阵中数据之间信息集中度的计算模块；7)归一化模块，是一种将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量的模块；8)反馈训练模块，是对神经网络参数计算梯度下降的模块；9)文本矩阵，是将文本中词汇向量化后，组成的矩阵，来表示文本信息。英文说明：Vec_Input，新向量；Text_Matrix，文本矩阵；New_Text_Matrix，新文本矩阵；Mat_Attention，注意力系数矩阵；Mat_Result，结果矩阵。进一步的，步骤b中各个所述Vec_Input维度相同。进一步的，在步骤c中Vec_Input向量组合前还需进行如下处理，步骤c1：制作一批文本词汇作为预训练输入数据，其中词汇至少包括时间词、动态助词、上下文语境，同时包括多种大小的文字和字体；步骤c2：对所述预训练输入数据进行数据增强处理：包括平移、旋转、扭曲等操作，使得神经网络获得对不同位置、不同角度的文本的特征提取；步骤c3：使用步骤c2增强处理后的预训练输入数据对随机初始化的神经网络进行训练，使神经网络获得提取金融事件词汇的能力。进一步的，步骤d中N个所述New_Text_Matrix维度相同。进一步的，步骤e具体又包括如下子步骤：步骤e1：在进入注意力机制模块进行训练和测试前，将N个新文本矩阵先存入神经网络嵌入层的嵌入矩阵中；步骤e2：将所述神经网络嵌入层中存储的新文本矩阵进行预处理，而后输入到注意力机制模块；步骤e3：由所述注意力机制模块对新文本矩阵进行强化处理后，输出注意力系数矩阵。进一步的，所述强化处理采用相加融合方式。与现有技术相比，本专利技术的有益之处是：一、本专利技术应用目前先进的深度学习自然语言处理技术，来发现更高维深层次的特征，运用到金融资讯的事件时态分析中，提高分析的准确率，而且解决了现有技术中更多依赖人为编辑规则的缺陷，从而提高了效率，增强了可扩展性。二、应用注意力机制做时态分析可以获得更加丰富的文本特征，提高了输出结果的精度，大大减少了误差并提高了效率。三、由注意力机制模块对新文本矩阵进行强化处理，不断增强所提取词汇的丰富饱和度，使其包含的文本特征更加全面和细致，从而提高了模型对文本特征的识别能力。附图说明下面结合附图对本专利技术进一步说明：图1是本专利技术实施例的分析方法流程示意图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。实施例一从图1可以看出，本专利技术是一种基于注意力机制的金融事件修饰时态的分析方法，流程如下：步骤a：整理并输入原始文本，将所述原始文本采用分词工具做切分处理，形成词汇；步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input，其中词性向量是指在分词的同时，保存该词汇的词性标记，将词性标记输入深度神经网络后，生成的向量，位置序号是指分词后得到词汇序列，该词汇在整个序列的位置序号；步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix，其中线性空间映射函数是一种广义性质上，用于线性矩阵相乘的函数；步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于，包括以下步骤：步骤a：整理并输入原始文本，将所述原始文本作分词处理形成词汇；步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input；步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix；步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值；步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构。...

【技术特征摘要】
1.一种基于注意力机制的金融事件修饰时态的分析方法，其特征在于，包括以下步骤：步骤a：整理并输入原始文本，将所述原始文本作分词处理形成词汇；步骤b：将所述词汇输入到深度神经网络后转为词向量，每个所述词向量后面拼接对应词汇的词性向量和位置序号，生成新向量，记作Vec_Input；步骤c：将各个所述Vec_Input向量组合后，生成文本矩阵，记作Text_Matrix，以此代表文本信息；步骤d：将所述Text_Matrix输入到N个线性空间映射函数，输出N个新文本矩阵，记作New_Text_Matrix；步骤e：将N个所述New_Text_Matrix输入注意力机制模块，输出注意力系数矩阵，记作Mat_Attention，即每个词汇两两之间都有注意力系数；步骤f：将Mat_Attention和Text_Matrix做矩阵相乘，然后输入到归一化模块进行归一化处理并输出结果矩阵，记作Mat_Result，即每个词汇两两之间的修饰相关度值；步骤g：在所述Mat_Result中找到金融事件词汇的位置，并查看与所述金融事件词汇相关度高的词汇，在所述词汇中查看和时态修饰有关的词，以此来判断该金融事件的时态；步骤h：根据结果的精度判断，当精度达到阈值时输出最终结果，当精度达不到阈值时，再经过反馈训练模块返回到步骤c，重新训练神经网络结构。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：柴志伟，陶村春，
申请(专利权)人：宁波深擎信息科技有限公司，上海深擎信息科技有限公司，
类型：发明
国别省市：浙江,33