一种金融大数据分析与挖掘算法制造技术

本发明专利技术公开了一种金融大数据分析与挖掘算法，涉及数据分析与挖掘技术领域，通过对金融数据进行采集；对采集到的金融数据进行处理；通过特征工程对金融数据局进行特征提取，得到特征信息；利用图模型对所述特征信息进行选取，得到目标特征信息；基于所述目标特征信息以及预设问题信息，对模型进行训练，直至得到目标模型；对金融市场进行风险评估；对三类问题进行模型训练与优化；本发明专利技术提供一种金融大数据分析与挖掘算法，能够利用图模型对特征进行选择，并且能够训练和优化多种模型解对应解决不同问题。解决不同问题。解决不同问题。

【技术实现步骤摘要】
一种金融大数据分析与挖掘算法


[0001]本专利技术涉及数据分析与挖掘
，更具体的是涉及一种金融大数据分析与挖掘算法。

技术介绍

[0002]金融市场有很强的不确定性，金融投资者和市场管理部门需要对风险进行评估。本专利技术基于通过大数据分析与挖掘技术，建立金融风险评估和金融欺诈等识别算法。当前金融风险评估的主要方法为:以机器学习算法进行分类和回归，通过对特征进行提取和选择来对模型进行优化，建立识别或回归框架对整体进行调优，建立风险评估模型。
[0003]但是现有技术中由于实际问题的数据分布不均衡，特征选择和用户画像的准确度不高，造成学习效果偏低，影响风险评估算法的稳定性，并且小样本、不平衡样本以及高维样本问题难以解决，难以理解各特征之间的内在联系和因果关系，风险识别能力不高，需要对模型和算法整体框架进行优化。

技术实现思路

[0004]本专利技术的目的在于：为了解决上述技术问题，本专利技术提供一种金融大数据分析与挖掘算法，能够利用图模型对特征进行选择，并且能够训练和优化多种模型解对应解决不同问题。
[0005]本专利技术为了实现上述目的具体采用以下技术方案：一种金融大数据分析与挖掘算法，包括以下步骤：
[0006]步骤S1：对金融数据进行采集；
[0007]步骤S2：对采集到的金融数据进行处理，包括数据的探索、数据的分布及数据的异常检测；
[0008]步骤S3：通过特征工程对金融数据局进行特征提取，得到特征信息；
[0009]步骤S4：利用图模型对所述特征信息进行选取，得到目标特征信息；
[0010]步骤S5：基于所述目标特征信息以及预设问题信息，对模型进行训练，直至得到目标模型，预设问题包括以下至少一种：产品定价问题、金融欺诈识别问题、金融客户流失预警问题及股票涨跌预测与投资收益问题；
[0011]步骤S6：对金融市场进行风险评估；
[0012]步骤S7：对三类问题进行模型训练与优化，三类问题包括回归和分类问题、时间序列预测问题及金融市场风险问题。
[0013]进一步的：当预设问题为产品定价问题时，所述目标特征信息为金融产品的属性及价格，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。
[0014]进一步的：当预设问题为金融欺诈识别问题时，所述目标特征信息为金融客户信息，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。
[0015]进一步的：当预设问题为金融客户流失预警问题时，所述目标特征信息为金融客
户信息，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。
[0016]进一步的：当预设问题为股票涨跌预测与投资收益问题时，所述目标特征信息为金融产品的属性及价格，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。
[0017]进一步的：所述步骤S3包括以下步骤：
[0018]步骤S31：去除无用特征；
[0019]步骤S32；去除冗余特征；
[0020]步骤S33：利用存在的特征、转换特征、内容中的特征及其他数据源生成新特征；
[0021]步骤S34：对特征进行转换，包括数值化、类别转换及归一化；
[0022]步骤S35：对特征进行处理，包括异常值、最大值、最小值及缺失值。
[0023]进一步的：在步骤S6中利用图模型对特征进行选择，并且所述步骤S6包括以下步骤：
[0024]步骤S61：将金融市场数据按不同时间段进行数据的分割；
[0025]步骤S62：计算每部分数据所对应的各个特征间的相似性；
[0026]步骤S63：分析特征点之间的联系，同时选择一个相似性的阈值分别建立复杂网络，用临接矩阵表示；
[0027]步骤S64：对每部分数据生成最小生成树，计算每个节点的度；
[0028]步骤S65：计算相邻不同时间区间节点度的变化值；
[0029]步骤S66：对比某个相邻时间区间，对每个节点度的辩护之做平均，得到度变化的平均值，同时对度变化从大到小进行排序，度变化超过平均值的节点重要性进行提取；
[0030]步骤S67：提取每个时间区间的重要节点，以最重要的中心节点利用时间区间建立金融风险传导路径，以可视化形式展现。
[0031]进一步的：所述回归用户分类问题包括产品定价、金融欺诈、客户流失及投资收益，利用逻辑斯蒂回归、决策树、支持向量机、Adaboost、XGBoost、LightGBM及人工神经网络算法对特征工程后的数据进行训练，并利用stacking的集成模型或贝叶斯优化器对学习过程进行优化。
[0032]进一步的：所述时间序列预测问题包括股票价格预测及投资收益预测，利用循环神经网络算法，构建LSTM、GRU模型，对特征工程后的数据进行训练，利用贝叶斯优化器对模型进行优化。
[0033]进一步的：所述金融市场风险问题时对整体风险的评估，利用图模型的最小生成树得到的重要节点及建立的节点传导路径，利用优化器对相似性阈值的选取和时间区间的划分标准进行优化，优化器包括贝叶斯优化器、粒子群算法、遗传算法及模拟退火算法，构建整体学习框架，提升学习效果，以实际金融市场的变化来对数据分析结果进行评估。
[0034]本专利技术的有益效果如下：
[0035]1：本专利技术利用特征工程，有效的改善乐回归或分类模型的精度，提升了整体学习效果。
[0036]2：利用重采样技术，有效解决了数据分类不平衡问题。
[0037]3：利用图模型的最小生成树等算法，有效发现特征股票之间的相互作用，对提取特征股票阶段具有重要价值，有效防范金融市场的风险。
[0038]4：利用数据处理、特征工程、算法设计、模型优化及模型融合来构建分类识别回归
分析的整体框架，综合对金融数据分析和挖掘算法的性能进行整合优化。
附图说明
[0039]图1是本专利技术的整体流程示意图；
[0040]图2是本专利技术中金融市场节点度在四个时间段的最小生成树图像。
具体实施方式
[0041]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0042]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]实施例1
[0044]如图1
‑
图2所示，本实施例提供一种金融大数据分析与挖掘算法，包括以下步骤：
[0045]步骤S1：对金融数据进行采集，生成xlsx或csv文档或json文档，数据采集可以通过tu本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种金融大数据分析与挖掘算法，其特征在于，包括以下步骤：步骤S1：对金融数据进行采集；步骤S2：对采集到的金融数据进行处理，包括数据的探索、数据的分布及数据的异常检测；步骤S3：通过特征工程对金融数据局进行特征提取，得到特征信息；步骤S4：利用图模型对所述特征信息进行选取，得到目标特征信息；步骤S5：基于所述目标特征信息以及预设问题信息，对模型进行训练，直至得到目标模型，预设问题包括以下至少一种：产品定价问题、金融欺诈识别问题、金融客户流失预警问题及股票涨跌预测与投资收益问题；步骤S6：对金融市场进行风险评估；步骤S7：对三类问题进行模型训练与优化，三类问题包括回归和分类问题、时间序列预测问题及金融市场风险问题。2.根据权利要求1所述的一种金融大数据分析与挖掘算法，其特征在于，当预设问题为产品定价问题时，所述目标特征信息为金融产品的属性及价格，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。3.根据权利要求1所述的一种金融大数据分析与挖掘算法，其特征在于，当预设问题为金融欺诈识别问题时，所述目标特征信息为金融客户信息，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。4.根据权利要求1所述的一种金融大数据分析与挖掘算法，其特征在于，当预设问题为金融客户流失预警问题时，所述目标特征信息为金融客户信息，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。5.根据权利要求1所述的一种金融大数据分析与挖掘算法，其特征在于，当预设问题为股票涨跌预测与投资收益问题时，所述目标特征信息为金融产品的属性及价格，对其进行特征构造及特征提取，进行构建回归模型，做特征选择。6.根据权利要求1所述的一种金融大数据分析与挖掘算法，其特征在于，所述步骤S3包括以下步骤：步骤S31：去除无用特征；步骤S32；去除冗余特征；步骤S33：利用存在的特征、转换特征、内容中的特征及其他数据源生成新特征；步骤S34：对特征进行转换，包括数值化、类别转换及归一化；步骤S35：对特...

【专利技术属性】
技术研发人员：赵军产，陈建文，向浩楠，王宇，董倩，姜永滚，欧阳彬，曾可涵，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：