基于多元因素融合的深层逻辑推理金融文本分析方法及系统技术方案

本发明专利技术公开了一种基于多元因素融合的深层逻辑推理金融文本分析方法及系统，该方法基于多维数据融合的深层逻辑推理模型，该模型通过三种不同的机制——堆叠循环神经网络、插槽记忆模块和交叉注意力模块来分别实现语义解析、多因素融合、深层逻辑推理。通过这三个模块，一个金融文本和多个外部特征在进入到本方法提出的模型后，会依次进行文本编码、记忆存储、信息交互理解，通过三个流程来一步步提取蕴含在文本中的深层信息，从而做出一个合理的推断。

【技术实现步骤摘要】
基于多元因素融合的深层逻辑推理金融文本分析方法及系统
本专利技术涉及金融文本分析，特别是涉及一种基于多元因素融合的深层逻辑推理金融文本分析方法及系统。
技术介绍
在金融文本分析方面，主流技术已经从以往的特征提取为主的方法过渡到以神经网络驱动为主的方法，传统的特征，如情感词计数、关键段匹配、文本流重构等，这些方法在构造过程中需要耗费过多人力，而且针对不同领域的文本需要重新构造特征，迁移性不足。以神经网络为主的方法只需要在特定的数据上面进行训练，消耗计算力资源就可以很好的完成特定场景下的金融文本分析任务，所以神经网络为主的方法是近几年来的主流技术。目前在金融文本方面的应用和研究上，更多的工作关注于神经网络的选择层面，这类方法关注点在于利用神经网络对文本进行表示学习，通过设计神经网络来学习文本的向量化表示，期待探索出能更好实现文本建模的神经网络，但是这些方法存在以下两个问题：1)这些方法关注点在于文本表层的表示学习，忽视了在文本语义上面的推理。然而金融文本分析需要帮助金融业务本身，所以在搭建神经网络模型的时候，更应该关注所设计算法在语义理解和逻辑推理上面的能力。2)金融现象的产生，都是由多个外部因素的结合影响发挥作用的，利用单一的因素进行推断容易陷入局部最优，而现有的工作更多关注于文本本身，利用单一的文本因素进行推理，对于一些潜在外部的因素没有给予足够的关注，使得模型在做结论推理的时候，会形成一定的片面性，对于一些夹杂着噪音的数据，也会缺乏足够的泛化性。
技术实现思路
为了弥补上述现有技术的不足，本专利技术提出一种基于多元因素融合的深层逻辑推理金融文本分析方法及系统，提取蕴含在文本中的深层信息，从而做出一个合理的推断。本专利技术的技术问题通过以下的技术方案予以解决：一种基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于包括如下步骤：S1、将输入的文本转换为语义向量表示；S2、通过一个编码模块来对文本进行语义解析；S3、将外部因素转换为记忆向量；S4、采用交叉注意力模块计算文本向量与外部因素的交叉表示形式，并将其重新表达为一个更高层的语义特征，实现语义的抽象化理解。在一些实施例中，还包括如下特征：所述步骤S1包括：S1-1、将输入的文本先转换为词嵌入向量；使用双重嵌入向量作为初始的所述词嵌入向量；所述双重嵌入向量包含两种类型：通用词嵌入向量和特定领域词嵌入向量，它们是根据词嵌入向量在指定领域内语料库进行训练来区分的。通用词嵌入向量根据互联网文本数据进行训练，特定领域词嵌入向量利用本方法构建的金融文本数据集进行训练，将两个向量按照指定维度拼接在一起。训练时，按照批次来读取数据，对于同一个批次里的数据，对各个文本的长度进行统一。步骤S2中，通过一个编码模块来对文本进行语义解析，所述编码模块由一个堆叠循环神经网络构成，所述堆叠循环神经网络是一个四层的神经网络结构，每一层由一个双向的叠流门控制单元构成。叠流门控制单元主体由两个门结构构成，这两个门结构控制着输入向量与隐藏层向量的流向，通过调节这两个向量的信息交互过程，来实现文本中的语义信息理解。所述叠流门控制单元的计算流程包括：给定当前时间t的输入向量xt和上一个时间段t-1的记忆单元ct-1，当前时间段的记忆单元ct由下式计算得到：其中，Wi是神经网络的可训练参数，tanh是双曲正切函数，⊙是向量点乘操作。ft是遗忘门的输出，在SFGU单元中用于遗忘掉一部分不重要的历史记忆信息，起到压缩信息流的作用。步骤S3中，采用插槽记忆模块目标是将外部因素进行编码，然后存储到记忆单元中以供后面模块使用；步骤S4中，在计算高层向量表示时，根据每一个位置的重要性为每个向量重新分配权重。本专利技术还提出一种基于多元因素融合的深层逻辑推理金融文本分析系统，其特征在于，包括处理器和存储器，所述存储器中存储在计算机程序，所述计算机程序可被处理器执行以实现如权利要求1-9中任一项所述的方法。本专利技术与现有技术对比的有益效果包括：本方法提出的基于多维数据融合的深层逻辑推理模型通过三种不同的机制——堆叠循环神经网络、插槽记忆模块和交叉注意力模块来分别实现语义解析、多因素融合、深层逻辑推理。通过这三个模块，一个金融文本和多个外部特征在进入到本方法提出的模型后，会依次进行文本编码、记忆存储、信息交互理解，通过三个流程来一步步提取蕴含在文本中的深层信息，从而做出一个合理的推断。附图说明图1是本专利技术实施例的基于多元数据融合的深层逻辑推理模型示意图。图2是本专利技术实施例的叠流门控制单元示意图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。本申请下述实施例的方法针对现有技术的缺点，设计一个新的技术方案，本方法从利用多种外部信息的角度出发，从因果循证的关系链中挖掘逻辑联系，对金融文本进行深度的逻辑推理，进而得到一个可靠且可解释的金融结论。本方法设计了全新的外部因素与文本的交互建模方式，通过交互融合的方式，做更进一步的深层逻辑推理，来解决外部因素与文本的协同理解问题。本方法提出的基于多元数据融合的深层逻辑推理模型主要包含三个模块：编码模块、插槽记忆模块和交叉注意力模块，这三个模块的连接关系以及技术细节如图1所示.。1.问题定义本方法专注于解决多元因素融合的金融文本分析任务，目标是给定多元外部因素，并且根据这部分外部因素进行深层的逻辑推理，来得到最终的分析结论。具体来说，给定一段包含n个词的金融文本X，即X＝{wi|i＝1，2，3，…，n}，同时给定m个外部因素T＝{t1，t2，t3，…，tm}，这里ti可以是中文字符串，也可以是数字，然后根据X和T两者来推理出结论Y，这里Y∈{-1，0，1}，这个过程用数学符号记为Y＝f(X，T)，本方法通过设计一个神经网络模型M，该模型建模了输入<X，T>到输出Y的映射关系。2.技术方案1)编码模块编码器模块负责将输入的文本转换为语义向量表示，从而做到文本的语义解析功能。而转换语义向量的第一步，就是将输入的文本先转换为词嵌入向量。词嵌入向量是自然语言处理领域通用的技术方案，由word2vec算法实现。本方法使用双重嵌入向量作为初始的词嵌入向量。双重嵌入向量包含两种类型：通用词嵌入向量和特定领域词嵌入向量，它们是根据词嵌入向量在指定领域内语料库进行训练来区分。在数学符号表示上，每个单词wi都将使用特征向量进行初始化，其中dG和dD分别是通用词嵌入向量和特定领域词嵌入向量的第一维维度大小。|V|表示的是词汇表的大小。因此最终的输入词嵌入向量表示由下式计算得到：其中表示本文档来自技高网...

【技术保护点】
1.一种基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于包括如下步骤：/nS1、将输入的文本转换为语义向量表示；/nS2、通过一个编码模块来对文本进行语义解析；/nS3、将外部因素转换为记忆向量；/nS4、采用交叉注意力模块计算文本向量与外部因素的交叉表示形式，并将其重新表达为一个更高层的语义特征，实现语义的抽象化理解。/n

【技术特征摘要】
1.一种基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于包括如下步骤：
S1、将输入的文本转换为语义向量表示；
S2、通过一个编码模块来对文本进行语义解析；
S3、将外部因素转换为记忆向量；
S4、采用交叉注意力模块计算文本向量与外部因素的交叉表示形式，并将其重新表达为一个更高层的语义特征，实现语义的抽象化理解。


2.如权利要求1所述的基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于所述步骤S1包括：将输入的文本先转换为词嵌入向量。


3.如权利要求2所述的基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于，使用双重嵌入向量作为初始的所述词嵌入向量；所述双重嵌入向量包含两种类型：通用词嵌入向量和特定领域词嵌入向量，它们是根据词嵌入向量在指定领域内语料库进行训练来区分的。


4.如权利要求3所述的基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于，通用词嵌入向量根据互联网文本数据进行训练，特定领域词嵌入向量利用本方法构建的金融文本数据集进行训练，将两个向量按照指定维度拼接在一起。


5.如权利要求4所述的基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于，训练时，按照批次来读取数据，对于同一个批次里的数据，对各个文本的长度进行统一。


6.如权利要求1所述的基于多元因素融合的深层逻辑推理金融文本分析方法，其特征在于，步骤S2中，通过一个编码模块来对文本进行语义解析,所述编...

【专利技术属性】
技术研发人员：李鑫，王智，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44