一种基于并行计算的金融情报分析方法及系统技术方案

本发明专利技术涉及一种基于并行计算的金融情报分析方法及系统，包括：对金融情报进行数据特征处理，然后进行并行计算前的分配处理，随后进行并行计算，其中一路计算是金融情报先进行特征过滤，再进行效果评价，如果效果不好，再返回进行特征过滤；另一路计算是金融情报先进行机器学习模型过滤，再进行效果评价，如果效果不好，再返回进行机器学习模型过滤；联合分析两路经过不同计算处理的金融情报，最后聚合联合分析结果，得出金融情报分析结果。本申请实现了对海量多源异构的金融情报的并行分析，解决了现有技术无法同时分析海量情报数据、无法处理多源异构和复杂特征数据的问题；而且还实现了金融情报的高效计算和分析，确保了金融情报分析的时效性。报分析的时效性。报分析的时效性。

【技术实现步骤摘要】
一种基于并行计算的金融情报分析方法及系统


[0001]本专利技术涉及金融情报分析
，尤其涉及一种基于并行计算的金融情报分析方法及系统。

技术介绍

[0002]情报分析是对全源数据进行综合评估、分析和挖掘，将处理过的数据信息转化为有用的情报以满足已知或预期用户需求的过程。
[0003]目前已有的情报分析方法主要采用基于统计学的数据分析法，它主要通过概率论建立模型，构建情报分析模型和统计模型，然后根据采集的情报数据，进行基于统计学的量化分析，从而进行情报的推断和预测。该方法主要从情报的集中趋势（向平均值靠拢的趋势）、离散程度、分布形状等统计角度来进行分析，并且将情报分析分为定量数据和定性数据两种类型进行不同的分析。
[0004]该分析法主要考虑情报分析的可靠性，即指采用同样的方法对同一情报对象重复测量时所得结果的一致性程度。情报分析的可靠性指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。
[0005]因此基于统计学的情报分析方法更多的是基于统计学规律去发现情报中的价值和统计规律。目前的基于统计学的情报分析方法，本质上是采用统计学的基本原理来实现情报分析，是利用尽可能少的局部样本数据来发现情报中的总体规律，处理的情报对象往往数据规模小且数据结构单一，无法适用海量异构数据的应用，该方法几乎都是在样本数据的基础上进行的，但是由于基于统计学的数据情报分析方法是选取最优的抽样和统计分析方法，样本也只能最大限度地还原全体在某一方面或某几个方面的局部特征，而不可能做到在方方面面都完美地分析出情报数据全局的特征，其更多是一项情报数据处理工程。
[0006]在面对多源异构海量的金融数据的金融情报处理时，统计样本变大、数据特征复杂、数据结构多源化等新特征，使得基于统计学的情报分析方法也变得复杂和不适应时代要求，而且在现代金融环境下，金融情报面临海量数据的采集与分析，传统的基于统计学的各类分析方法已无法满足大规模数据集处理的要求。同时现代金融情报的数据往往具有多源异构的特征，数据结构复杂，无法满足基于统计学的数据情报分析方法对于单一数据结构的要求。另外基于统计学的数据情报分析方法采用定期对数据进行处理和分析的方式来更新模型，但是由于是定期被动更新，模型无法保持实时性，容易造成统计结果不连续，无法满足金融情报分析的连续性的要求。
[0007]因此，针对大数据环境下金融情报分析的新要求，数据结构的多源异构性、海量的金融情报数据、复杂的数据特征以及快速的分析模型更新的要求，基于统计学的情报分析方法已经无法满足和适用新要求。
[0008]
技术实现思路

[0009]本申请提供一种基于并行计算的金融情报分析方法及系统，其可以克服基于统计学的情报分析方法无法同时分析海量情报数据、无法处理多源异构和复杂特征数据的问题；其通过并行计算，实现机器学习和特征过滤相结合的并行计算的效果，从而实现金融情报的高效计算和分析，确保金融情报分析的时效性。
[0010]本申请通过下述技术方案实现：本申请提供的一种基于并行计算的金融情报分析方法，包括以下步骤：按照后续特征过滤和机器学习模型的要求对输入的金融情报进行数据特征处理，进行数据清洗和数据格式转化，然后对计算任务进行并行计算前的分配处理；随后金融情报进行并行计算处理，其中一路计算是金融情报先进行特征过滤，然后再进行效果评价，如果效果不好，再返回进行特征过滤；另外一路计算是金融情报先进行机器学习模型过滤，然后进行效果评价，如果效果不好，再返回进行机器学习模型过滤；两路经过不同计算处理的金融情报进行联合分析，最后进行金融情报聚合结果，得出经过并行计算后的金融情报分析结果。本申请通过并行计算、联合分析实现了对海量多源异构的金融情报的并行分析，解决了现有技术无法同时分析海量情报数据、无法处理多源异构和复杂特征数据的问题；而且还实现了机器学习和特征过滤相结合的并行计算的效果，从而实现了金融情报的高效计算和分析，确保了金融情报分析的时效性。
[0011]本申请提供的一种基于并行计算的金融情报分析系统，包括：数据特征处理模块，用于按照特征过滤和机器学习模型过滤的要求，对金融情报进行数据特征处理；并行计算预处理模块，用于对计算任务进行并行计算前的分配处理；并行计算处理模块，用于对金融情报进行并行计算；并行计算处理模块包括特征过滤模块、特征过滤效果评价模块、机器学习模型过滤模块、机器学习模型过滤效果评价模块；所述特征过滤模块，用于对分配的金融情报进行特征过滤；所述特征过滤效果评价模块，用于对特征过滤进行评价，如果效果不好，则返回重新进行特征过滤；如果效果好，则将特征过滤的结果输入联合分析模块；所述机器学习模型过滤模块，用于对分配的金融情报进行机器学习模型过滤；所述机器学习模型过滤效果评价模块，用于对机器学习模型过滤进行评价，如果效果不好，则返回重新进行机器学习模型过滤；如果效果好，则将机器学习模型过滤的结果输入联合分析模块；联合分析模块，用于对两路经过不同计算处理的金融情报进行联合分析；聚合结果模块，用于聚合联合分析的分析结果，输出金融情报分析结果。
[0012]与现有技术相比，本申请具有以下有益效果：本申请充分利用并行计算的并行性，解决了金融情报高效进行多路并行分析的难题，在确保多路各自独立的分析的同时，实现了机器学习模型过滤和特征过滤相结合的并行计算的效果，从而实现金融情报的高效计算和分析，确保了金融情报分析的高效性。
附图说明
[0013]此处所说明的附图用来提供对本申请实施方式的进一步理解，构成本申请的一部分，并不构成对本专利技术实施方式的限定。
[0014]图1为本专利技术实施例中的基于并行计算的金融情报分析的流程图；图2为本专利技术实施例中金融情报的数据特征处理流程图；图3为本专利技术实施例中并行计算预处理流程图；图4为本专利技术实施例中特征过滤流程图；图5为本专利技术实施例中特征过滤后的效果评价流程图；图6为本专利技术实施例中机器学习模型过滤流程图；图7为本专利技术实施例中机器学习模型过滤后的效果评价流程图；图8为本专利技术实施例中金融情报联合分析流程图。
具体实施方式
[0015]为使本申请的目的、技术方案和优点更加清楚，下面将结合实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本专利技术实施方式的组件可以以各种不同的配置来布置和设计。
[0016]因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0017]需要说明的是，在不冲突的情况下，本专利技术中的实施方式及实施方式中的特征可以相互组合。需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于并行计算的金融情报分析方法，其特征在于：包括以下步骤：按照特征过滤和机器学习模型过滤的要求，对金融情报进行数据特征处理；对计算任务进行并行计算前的分配处理；对金融情报进行并行计算，并行计算的其中一路计算是先对金融情报进行特征过滤，然后进行效果评价，如果效果不好，再返回重新进行特征过滤；并行计算的另外一路计算是先对金融情报进行机器学习模型过滤，然后进行效果评价，如果效果不好，再返回重新进行机器学习模型过滤；对两路经过不同计算处理的金融情报进行联合分析；聚合联合分析的分析结果，得到金融情报分析结果。2.根据权利要求1所述的一种基于并行计算的金融情报分析方法，其特征在于：所述分配处理具体为：首先将金融情报按照并行计算的要求进行任务分解；然后加载并行计算通讯地址，进行并行计算前的准备。3.根据权利要求1所述的一种基于并行计算的金融情报分析方法，其特征在于：所述特征过滤包括以下步骤：首先，按照特征过滤的要求先进行数据的预处理；然后，按照情报分析的要求预先设定的特征，在特征库中进行特征匹配；最后，根据实现设定阈值或者待选择阈值，按照要求对特征匹配出来的结果进行筛选过滤，从而实现特征过滤。4.根据权利要求1或3所述的一种基于并行计算的金融情报分析方法，其特征在于：特征过滤后的效果评价方法为：根据特征过滤的结果以及过滤效果，对过滤规则进行定量评价；如果不符合过滤要求，则形成更新后的特征，返回特征过滤重新进行过滤流程，重新定义一个新特征过滤规则的条件。5.根据权利要求1所述的一种基于并行计算的金融情报分析方法，其特征在于：所述机器学习模型过滤包括以下步骤：首先，按照机器学习模型过滤的要求先进行数据的预处理；然后，按照情报分析原有训练好的模型进行分析预测，在机器学习模型的预测中，根据历史数据训练出来的模型对现有的输入值进行预测；最后，按照要求对机器学习模型预测出来的结果进行筛选过滤，从而实现基于机器学习模型的过滤。6.根据权利要求1或5所述的一种基于并行计算的金融情报分析方法，其特征在于：机器学习模型过滤后的效果评价方法为：根据机器学习模型过滤的结果以及过滤...

【专利技术属性】
技术研发人员：顾见军，李文，罗刚，
申请(专利权)人：成都数融科技有限公司，
类型：发明
国别省市：