一种金融数据处理方法和数据处理系统技术方案

本申请公开了一种金融数据处理方法和数据处理系统，用于用于降低对海量的金融数据进行分析的过程中发生数据阻塞的概率，提升对海量金融数据进行分析的效率。该方法包括：各所述工作节点响应于物联网数据中心发送的状态查询指令，向所述物联网数据中心发送所述空闲指示信息；进而所述物联网数据中心基于接收的各空闲指示信息确定各预设空闲等级对应的节点集，以及，根据各节点集的节点数量将所述金融数据集分发给部分或全部所述工作节点进行数据处理；其中，所述空闲指示信息用以指示所述工作节点的当前空闲程度，所述状态查询指令是所述物联网数据中心确定待处理的金融数据集后向各所述工作节点发送的。集后向各所述工作节点发送的。集后向各所述工作节点发送的。

【技术实现步骤摘要】
一种金融数据处理方法和数据处理系统


[0001]本申请涉及计算机
，特别涉及一种金融数据处理方法和数据处理系统。

技术介绍

[0002]全球范围内有多个金融证券的交易市场，交易所在规定的交易时间段内提供撮合交易功能并提供实时的股市行情；随之出现了对金融数据进行分析的交易机器人，交易机器人往往需要对大量的金融数据进行特定处理和分析，进而构建金融产品的行情数据库，以进一步对行情数据库进行实时行情分析，并可以根据用户终端的请求，将实时行请分析的结果发送到用户终端进行展示，但构建行情数据库的要处理的数据量过大，而交易机器人处理数据建立行情数据库的能力有限，市场造成数据阻塞的情况发生，因此如何高效地对海量金融数据进行流程高效的分析是行业痛点。

技术实现思路

[0003]本申请提供一种金融数据处理方法和数据处理系统，至少用于降低对海量的金融数据进行分析的过程中发生数据阻塞的概率，提升对海量金融数据进行分析的效率。
[0004]第一方面，本申请实施例提供一种金融数据处理方法和数据处理系统，应用于数据处理系统，所述数据处理系统中至少包括物联网数据中心和若干工作节点，所述方法包括：
[0005]各所述工作节点响应于状态查询指令，向所述物联网数据中心发送所述空闲指示信息，其中，所述空闲指示信息用以指示所述工作节点的当前空闲程度，所述状态查询指令是所述物联网数据中心确定待处理的金融数据集后向各所述工作节点发送的；
[0006]所述物联网数据中心接收各所述工作节点发送的空闲指示信息，并基于接收的各空闲指示信息确定各预设空闲等级对应的节点集，以及，根据各节点集的节点数量将所述金融数据集分发给部分或全部所述工作节点进行数据处理；其中，所述节点集中包括目标节点的节点标识和所述目标节点的节点数量，所述目标节点为当前空闲程度为所述节点集对应的空闲等级的工作节点。
[0007]本申请实施例中涉及一个包含物联网数据中心和若干工作节点的数据处理系统，进而在接收到金融数据集后，由物联网数据中心通过向各工作节点发送状态查询指令，并基于各工作节点返回的空闲指示信息确认各工作节点的当前空闲程度，进一步基于各工作节点的当前空闲程度对各工作节点划分不同空间等级，进而基于各空闲等级中的节点数量将金融数据集分发给部分或全部工作节点进行处理，其中物联网数据中心可以基于各工作节点的当前空闲程度，灵活地对金融数据进行分配，从而避免各工作节点的数据处理的负载超过自身的负载极限，可以在数据处理系统中需要处理海量数据时能显著降低发生数据堵塞的可能性，以及避免工作节点承接过量数据造成工作节点瘫痪以及整个数据处理系统瘫痪的情况。
[0008]第二方面，本申请实施例提供一种金融数据的数据处理系统，其特征在于，所述数
据处理系统中至少包括物联网数据中心和若干工作节点，其中：
[0009]各所述工作节点响应于状态查询指令，向所述物联网数据中心发送所述空闲指示信息，其中，所述空闲指示信息用以指示所述工作节点的当前空闲程度，所述状态查询指令是所述物联网数据中心确定待处理的金融数据集后向各所述工作节点发送的，所述金融数据集中的金融数据为金融产品的相关数据；
[0010]所述物联网数据中心接收各所述工作节点发送的空闲指示信息，并基于接收的各空闲指示信息确定各预设空闲等级对应的节点集，以及，根据各节点集的节点数量将所述金融数据集分发给部分或全部所述工作节点进行数据处理；其中，所述节点集中包括目标节点的节点标识和所述目标节点的节点数量，所述目标节点为当前空闲程度为所述节点集对应的空闲等级的工作节点，所述N为大于1的整数。
[0011]在一种可能的实现方式中，所述预设空闲等级至少包括可用空闲等级，可用空闲等级表征对应的工作节点的当前空闲程度大于空闲程度阈值；
[0012]所述物联网数据中心确定所述可用空闲等级对应的节点集为可用节点集，并确定所述可用节点集的所述节点数量和数量阈值的大小关系；其中：若所述可用节点集的所述节点数量大于所述数量阈值，则将所述可用节点集中的工作节点确定为待分配节点，将所述金融数据集作为待处理数据集，并进入初分配模块；若所述可用节点集的所述节点数量小于或等于所述数量阈值，则进入第一再分配模块。
[0013]在一种可能的实现方式中，所述第一再分配模块的处理过程中：所述物联网数据中心开启所述数据处理系统中的N1个辅助节点，所述N1为正整数；将所述N1个辅助节点分别作为待分配节点，将所述金融数据集作为待处理数据集，并进入所述初分配模块。
[0014]在一种可能的实现方式中，所述初分配模块的具体处理过程中：所述物联网数据中心将所述待处理数据集中的金融数据随机分发给各待分配节点；各待分配节点将接收的金融数据作为当前处理数据，并基于所述当前处理数据的当前数据量和自身对应的参考数据量确定数据量占比，基于所述数据占比确定数据处理模式。
[0015]在一种可能的实现方式中，所述待分配节点确定所述当前数据量和所述参考数据量的数量差，并将所述数量差和所述当前数据量的比值确定为所述数据量占比；进而将所述数据量占比和占比阈值进行比较，若确定所述数据量占比小于或等于所述占比阈值，则将所述当前处理数据确定为自处理数据，并进入所述待分配节点的目标数据处理；若所述数据量占比大于所述占比阈值，则进入所述待分配节点的第二再分配模式。
[0016]在一种可能的实现方式中，所述第二再分配模式的具体处理过程中：所述待分配节点从当前处理数据中确定出自处理数据和辅助处理数据，并对所述自处理数据进入所述目标数据处理，并，向所述物联网数据中心发送辅助请求指令，所述辅助请求指令携带所述辅助处理数据的指示信息；
[0017]所述第二再分配模式的具体处理过程中，所述物联网数据中心接收所述请求辅助指令后，开启所述数据处理系统中的N2个辅助节点，以及，将所述辅助处理数据作为待处理数据集，将所述N2个辅助节点分别作为待分配节点，并进入所述初分配模块；其中，所述N2为正整数。
[0018]在一种可能的实现方式中，所述金融数据包括多个候选金融产品的产品交易数据，待分配节点的所述目标数据处理的具体过程包括：所述待分配节点根据所述自处理数
据中的产品交易数据，确定所述多个候选金融产品的交易参考项；以及所述待分配节点基于所述交易参考项，从所述多个候选金融产品中确定出推荐金融产品，并将所述推荐金融产品发送给目标用户。
[0019]在一种可能的实现方式中，所述交易参考项包括如下任意一个或多个组合：所述产品交易描述信息、所述多个候选金融产品的产品排名、所述多个候选金融产品中各金融产品的属性信息。
[0020]在一种可能的实现方式中，所述候选金融产品包括候选股票，在目标数据处理的具体过程中：所述待分配节点根据所述自处理数据中的产品交易数据建立行情数据库，并基于所述行情数据库创建收益数据库；以及从所述行情数据库中获得所述多个候选股票的交易描述信息，从所述收益数据库中获取所述多个候选股票的排名信息，并将所述多个候选股票的交易描述信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种金融数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统中至少包括物联网数据中心和若干工作节点，所述方法包括：各所述工作节点响应于状态查询指令，向所述物联网数据中心发送所述空闲指示信息，其中，所述空闲指示信息用以指示所述工作节点的当前空闲程度，所述状态查询指令是所述物联网数据中心确定待处理的金融数据集后向各所述工作节点发送的；所述物联网数据中心接收各所述工作节点发送的空闲指示信息，并基于接收的各空闲指示信息确定各预设空闲等级对应的节点集，以及，根据各节点集的节点数量将所述金融数据集分发给部分或全部所述工作节点进行数据处理；其中，所述节点集中包括目标节点的节点标识和所述目标节点的节点数量，所述目标节点为当前空闲程度为所述节点集对应的空闲等级的工作节点。2.根据权利要求1所述的金融数据处理方法，其特征在于，所述预设空闲等级至少包括可用空闲等级，可用空闲等级表征对应的工作节点的当前空闲程度大于空闲程度阈值；所述根据各节点集的节点数量将所述金融数据集分发给部分或全部所述工作节点进行数据处理，包括：所述物联网数据中心确定所述可用空闲等级对应的节点集为可用节点集，并确定所述可用节点集的所述节点数量和数量阈值的大小关系；其中：若所述可用节点集的所述节点数量大于所述数量阈值，则将所述可用节点集中的工作节点确定为待分配节点，将所述金融数据集作为待处理数据集，并进入初分配模块；若所述可用节点集的所述节点数量小于或等于所述数量阈值，则进入第一再分配模块。3.根据权利要求2所述的金融数据处理方法，其特征在于，所述第一再分配模块包括：所述物联网数据中心开启所述数据处理系统中的N1个辅助节点，所述N1为正整数；将所述N1个辅助节点分别作为待分配节点，将所述金融数据集作为待处理数据集，并进入所述初分配模块。4.根据权利要求2或3所述的金融数据处理方法，其特征在于，所述初分配模块包括：所述物联网数据中心将所述待处理数据集中的金融数据随机分发给各待分配节点；各待分配节点将接收的金融数据作为当前处理数据，并基于所述当前处理数据的当前数据量和自身对应的参考数据量确定数据量占比，基于所述数据占比确定数据处理模式。5.根据权利要求4所述的金融数据处理方法，其特征在于，所述基于所述当前处理数据的当前数据量和自身对应的参考数据量，确定数据量占比，包括：所述待分配节点确定所述当前数据量和所述参考数据量的数量差，并将所述数量差和所述当前数据量的比值确定为所述数据量占比；所述基于所述数据占比确定数据处理模式，包括：所述待分配节点将所述数据量占比和占比阈值进行比较，若确定所述数据量占比小于或等于所述占比阈值，则将所述当前处理数据确定为自处理数据，并进入所述待分配节点的目标数据处理；若所述数据量占比大于所述占比阈值，则进入所...

【专利技术属性】
技术研发人员：杨阳，宋云笛，瞿林海，刘志坚，
申请(专利权)人：深圳迅策科技有限公司，
类型：发明
国别省市：