一种分布式系统及数据处理方法技术方案

本发明专利技术实施例涉及计算机技术领域，尤其涉及一种分布式系统及数据处理方法，用以解决存款核心系统中数据库节点容量有限，扩容存在上限的问题。所述分布式系统包括N个节点，其中每个节点中包含一个数据库，任两个节点之间的数据库结构和参数相同，N≥2；将所述N个节点中的任一节点作为第一类节点，所述第一类节点用于：接收第一指令；解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。

A Distributed System and Data Processing Method

【技术实现步骤摘要】
一种分布式系统及数据处理方法
本专利技术涉及金融科技(Fintech)中的计算机
，尤其涉及一种分布式系统及数据处理方法。
技术介绍
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如针对存款核心系统的数据处理。现有的银行存款核心系统，都是基于IOE(IBM、Oracle、EMC三家供应商的合称，其中IBM是服务器提供商，Oracle是数据库软件提供商，EMC则是存储设备提供商)的昂贵软硬件的单节点模型，账户数据、交易流水等都集中存储在一个数据库节点中。虽然应用层(application)可以做横向扩展，但因为数据库只有一个节点，性能和容量有限，在数据量日益增长的情况下，只能对数据库软硬件做升级。从长远来看，无法满足用户量和交易量增长的要求。
技术实现思路
本申请提供一种分布式系统及数据处理方法，用以解决存款核心系统中数据库节点容量有限，扩容存在上限的问题。本专利技术实施例提供一种分布式系统，包括N个节点，其中每个节点中包含一个数据库，任两个节点之间的数据库结构和参数相同，N≥2；将所述N个节点中的任一节点作为第一类节点，所述第一类节点用于：接收第一指令；解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。一种可选的实施例中，所述第一类节点为第一对象节点；所述第一对象节点用于：接收消息中间件发送的所述第一指令，所述第一指令中包含第一标识信息，所述第一标识信息位于所述第一对象节点的数据库中。一种可选的实施例中，所述第一指令为报文类指令；所述第一对象节点具体用于：解析所述第一报文，确定所述第一报文的M个子流程；依次判断所述M个子流程对应的标识信息；针对对应的标识信息位于所述第一对象节点的数据库中的子流程，对所述子流程进行处理；针对对应的标识信息位于第二类节点的数据库中的子流程，根据所述子流程生成第二报文并向所述第二类节点发送。一种可选的实施例中，所述第二类节点为第二对象节点；所述第一类节点具体用于：在预定时间段内，向所述第二对象节点发送所述第二指令。一种可选的实施例中，所述第一类节点为第二对象节点，所述第二类节点为第一对象节点，所述第一指令为第一文件下载指令；所述第二对象节点具体用于：接收外围系统发送的所述第一文件下载指令；根据所述第一文件下载指令，从文件传输模块中下载总文件；按照所述总文件涉及的L个第一对象节点，将所述总文件进行分割，得到L份文件分片，其中一份文件分片与一个第一对象节点相对应；将所述L份文件上传至所述文件传输模块；生成L个第二文件下载指令，其中每一个第二文件下载指令与一个第一对象节点相对应；针对所述L个第二文件下载指令中的任一个第二文件下载指令，将所述第二文件下载指令向对应的第一对象节点发送；所述第一对象节点用于：根据所述第二文件下载指令从所述文件传输模块中下载文件分片，并对所述文件分片进行处理。一种可选的实施例中，所述第一对象节点还用于：将已处理的文件分片上传至所述文件传输模块，并向所述第二对象节点发送文件分片下载消息；所述第二对象节点还用于：根据文件分片下载消息从所述文件传输模块中下载已处理的文件分片；将L个已处理的文件分片进行合并，并上传至所述文件传输模块；向所述外围系统发送文件处理完成消息。一种可选的实施例中，所述第一类节点，还用于：接收开户指令；根据所述开户指令，生成标识信息，并在数据库中记录所述标识信息与所述第一类节点的关系。一种可选的实施例中，所述第一类节点，还用于：按照设定时间间隔，收集所述第一类节点中未上传的操作数据；将所述未上传的操作数据上传至文件传输模块中，以使所述未上传的操作数据被下载并保存至总数据库中。一种分布式系统的数据处理方法，包括：第一类节点接收第一指令，所述第一类节点为N个节点中的任一节点，包含一个数据库，所述N个节点中的任两个节点之间的数据库结构和参数相同；所述第一类节点解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，所述第一类节点对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；所述第一类节点将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。一种可选的实施例中，所述第一类节点为第一对象节点；所述第一类节点接收第一指令，包括：所述第一对象节点接收消息中间件发送的所述第一指令，所述第一指令中包含第一标识信息，所述第一标识信息位于所述第一对象节点中。一种可选的实施例中，所述第一指令为报文类指令；所述第一类节点解析所述第一指令，确定所述第一指令涉及的标识信息，包括：所述第一对象节点解析所述第一报文，确定所述第一报文的M个子流程；所述第一对象节点依次判断所述M个子流程对应的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，所述第一类节点对所述第一指令进行处理，并根据所述第一指令生成第二指令，包括：针对对应的标识信息位于所述第一对象节点的数据库中的子流程，所述第一对象节点对所述子流程进行处理；针对对应的标识信息位于第二类节点的数据库中的子流程，所述第一对象节点根据所述子流程生成第二报文并向所述第二类节点发送。一种可选的实施例中，所述第二类节点为第二对象节点；所述第一类节点将所述第二指令向所述第二类节点发送，包括：所述第一类节点在预定时间段内，向所述第二对象节点发送所述第二指令。一种可选的实施例中，所述第一类节点为第二对象节点，所述第二类节点为第一对象节点，所述第一指令为第一文件下载指令；所述第一类节点接收第一指令，包括：所述第二对象节点接收外围系统发送的所述第一文件下载指令；所述第一类节点解析所述第一指令，确定所述第一指令涉及的标识信息，包括：所述第二对象节点根据所述第一文件下载指令，从文件传输模块中下载总文件；所述第二对象节点按照所述总文件涉及的L个第一对象节点，将所述总文件进行分割，得到L份文件分片，其中一份文件分片与一个第一对象节点相对应；所述第二对象节点将所述L份文件上传至所述文件传输模块；所述当所述第一指令涉及的标识信息还包括第二标识信息时，第一类节点对所述第一指令进行处理，并根据所述第一指令生成第二指令，包括：所述第二对象节点生成L个第二文件下载指令，其中每一个第二文件下载指令与一个第一对象节点相对应；所述第一类节点将所述第二指令向所述第二类节点发送，包括：针对所述L个第二文件下载指令中的任一个第二文件下载指令，所述第二对象节点将所述第二文件下载指令向对应的第一对象节点发送，以使所述第一对象节点根据所述第二文件下载指令从所述文件传输模块中下载文件分片，并对所述文件分片进行处理。一种可选的实施例中，所述第二对象节点将所述第二文件下载指令向对应的第一对象节点发送之后，还包括：所述第二对象节点接收第一对象节点发送的文件分片下载消息；所述第二对象节点根据文件分片下载消息从所述文件传输本文档来自技高网...

【技术保护点】
1.一种分布式系统，其特征在于，所述分布式系统包括N个节点，其中每个节点中包含一个数据库，任两个节点之间的数据库结构和参数相同，N≥2；将所述N个节点中的任一节点作为第一类节点，所述第一类节点用于：接收第一指令；解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。

【技术特征摘要】
1.一种分布式系统，其特征在于，所述分布式系统包括N个节点，其中每个节点中包含一个数据库，任两个节点之间的数据库结构和参数相同，N≥2；将所述N个节点中的任一节点作为第一类节点，所述第一类节点用于：接收第一指令；解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。2.如权利要求1所述的系统，其特征在于，所述第一类节点为第一对象节点；所述第一对象节点用于：接收消息中间件发送的所述第一指令，所述第一指令中包含第一标识信息，所述第一标识信息位于所述第一对象节点的数据库中。3.如权利要求2所述的系统，其特征在于，所述第一指令为报文类指令；所述第一对象节点具体用于：解析所述第一报文，确定所述第一报文的M个子流程；依次判断所述M个子流程对应的标识信息；针对对应的标识信息位于所述第一对象节点的数据库中的子流程，对所述子流程进行处理；针对对应的标识信息位于第二类节点的数据库中的子流程，根据所述子流程生成第二报文并向所述第二类节点发送。4.如权利要求3所述的系统，其特征在于，所述第二类节点为第二对象节点；所述第一类节点具体用于：在预定时间段内，向所述第二对象节点发送所述第二指令。5.如权利要求1所述的系统，其特征在于，所述第一类节点为第二对象节点，所述第二类节点为第一对象节点，所述第一指令为第一文件下载指令；所述第二对象节点具体用于：接收外围系统发送的所述第一文件下载指令；根据所述第一文件下载指令，从文件传输模块中下载总文件；按照所述总文件涉及的L个第一对象节点，将所述总文件进行分割，得到L份文件分片，其中一份文件分片与一个第一对象节点相对应；将所述L份文件上传至所述文件传输模块；生成L个第二文件下载指令，其中每一个第二文件下载指令与一个第一对象节点相对应；针对所述L个第二文件下载指令中的任一个第二文件下载指令，将所述第二文件下载指令向对应的第一对象节点发送；所述第一对象节点用于：根据所述第二文件下载指令从所述文件传输模块中下载文件分片，并对所述文件分片进行处理。6.如权利要求5所述的系统，其特征在于，所述第一对象节点还用于：将已处理的文件分片上传至所述文件传输模块，并向所述第二对象节点发送文件分片下载消息；所述第二对象节点还用于：根据文件分片下载消息从所述文件传输模块中下载已处理的文件分片；将L个已处理的文件分片进行合并，并上传至所述文件传输模块；向所述外围系统发送文件处理完成消息。7.如权利要求1至6任一项所述的系统，其特征在于，所述第一类节点，还用于：接收开户指令；根据所述开户指令，生成标识信息，并在数据库中记录所述标识信息与所述第一类节点的关系。8.如权利要求1至6任一项所述的系统，其特征在于，所述第一类节点，还用于：按照设定时间间隔，收集所述第一类节点中未上传的操作数据；将所述未上传的操作数据上传至文件传输模块中，以使所述未上传的操作数据被下载并保存至总数据库中。9.一种分布式系统的数据处理方法，其特征在于，包括：第一类节点接收第一指令，所述第一类节点为N个节点中的任一节点，包含一个数据库，所述N个节点中的任两个节点之间的数据库结构和参数相同；所述第一类节点解析所述第一指令，确定所述第一指令涉及的标识信息；当所述第一指令涉及的标识信息还包括第二标识信息时，所述第一类节点对所述第一指令进行处理，并根据所述第一指令生成第二指令，所述第二标识信息位于第二类节点的数据库中；所述第一类节点将所述第二指令向所述第二类节点发送，以使所述第二类节点对所述第二指令进行处理。10.如权利要求9所述的方法，其特征在于，所述第一类节点为第一对象节点；所述第一类节点接收第一指令，...

【专利技术属性】
技术研发人员：刘建波，张兵，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44