基于大数据的分布式信息管理方法和系统技术方案

本发明专利技术公开了基于大数据的分布式信息管理方法和系统，其中，该方法包括：根据数据集群系统的优先级得到基于数据集群的第一主节点和子节点群；根据第一主节点和子节点群构建业务分发的分布式信息模型；获取子节点群基于分布式信息模型向第一主节点发送的业务订阅请求；根据业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点，并通过分布式信息模型将业务数据同步传输至第一其它子节点，以得到数据集群的信息同步结果和业务数据的同步传输结果

【技术实现步骤摘要】
基于大数据的分布式信息管理方法和系统


[0001]本专利技术涉及信息管理
，尤其涉及基于大数据的分布式信息管理方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]在通过主系统对其下属的若干个子系统进行数据调用和分发的过程中，由于主系统需要处理海量的业务数据，若主系统的网络突然发生故障，容易导致整个系统处于瘫痪状态，影响其它子节点的正常运营
。
在现有技术中，为了减少主系统故障对其它子节点的运营影响，通常是通过设置心跳包对数据传输链路进行监控，并通过给主系统设置备用节点对数据进行临时存储，从而在主系统发生故障时，通过备用节点替代主系统进行数据分发，但是，这种方式大大增加了数据存储和调用的管理成本，且在主系统恢复后，从备用节点切回主系统时容易出现数据波动，影响数据传输的一致性
。
[0003]CN202110721416.2
公开了一种用于跨域大数据平台的分布式集群状态信息管理方法
、
系统及电子设备
。
属于数据处理领域，该跨域大数据平台的分布式集群状态信息管理方法包括：将跨域大数据平台包括的总部大数据平台和省份大数据平台的各个大数据平台的对外开放节点列表信息备份于各个大数据平台的集群内的
Zookeeper
服务组件，并缓存一份于本集群的
leader
节点，集群内的各节点注册为
Zookeeper
组件的客户端；以及进行省份大数据平台在总部大数据平台的注册，最终完成集群的信息在总部大数据平台内的自动备份和缓存，以完成省份大数据平台的上线操作，并将最新的跨域信息缓存通过
RPC
向各个在线集群的对外开放节点进行同步通知，其中，总部大数据平台对省份大数据平台的对外开放节点列表保持
RPC
心跳机制
。
[0004]CN201811546587.0
公开了一种大数据集群管理方法和装置，应用于大数据集群中安装有
zookeeper
的任一集群节点上，所述方法包括：第一集群节点选举临时主节点；所述第一集群节点被选为临时主节点时，确定在
zookeeper
中是否存在
cluster
节点；如果是，则使用
zookeeper
中的集群信息管理
cluster
节点单元存储并管理所述大数据集群的集群服务数据；否则，在
zookeeper
中创建
cluster
节点单元，使用该
cluster
节点单元存储并管理所述大数据集群的集群服务数据
。
该方法能够解决集群系统中的主节点单点故障导致系统瘫痪的问题
。
[0005]CN202010953828.4
公开了一种分布式高可用的大数据挖掘任务调度系统，包括数据挖掘调度模块
、
资源服务器集群
、
业务服务器集群
、Zookeeper
集群与用户操作端；所述资源监视模块与资源服务器集群相连；任务队列模块与业务服务器集群相连；业务服务器集群通过
Zookeeper
集群与数据分析模块相连
。
本专利技术能够优选出当下最适合运行挖掘任务的业务服务器，最终将任务推送给优选出的业务服务器执行数据挖掘，完成了对数据挖掘任务整个生命周期的自动化操作，大幅提升了任务运行的稳定性和数据挖掘效率
。
[0006]针对第一篇公开专利，是通过集群信息在总部大数据平台内的数据备份和存储，从而通过
RPC
将最新的跨域信息缓存向在线集群进行同步通知，通过各大平台的对外开放
节点列表信息建立省份平台和总部之间的联系，从而实现数据同步；针对第二篇公开专利，是通过
cluster
节点对集群服务数据进行临时存储，并通过
Zookeeper
进行临时管理，即临时的数据备份，在节点故障时通过临时备份数据进行数据传输，但未解决主节点恢复后的所引起的数据波动带来的传输不同步问题；针对第三篇公开专利，是通过
Zookeeper
集群连接业务服务器集群和数据分析模块，通过
Zookeeper
推选出最适合的业务服务器并执行数据挖掘工作，其中通过负载调度法
、
轮询调度法和倾斜度调度法进行数据调用
。

技术实现思路

[0007]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一
。
[0008]为此，本专利技术的第一个目的在于提出基一种基于大数据的分布式信息管理方法，解决高可用状态下的数据集群如何实现信息同步问题，主要是在主系统与子系统之间的数据传输链路发生故障时，在数据重连时实现各个子系统的数据传输同步性
。
[0009]本专利技术的第二个目的在于提出一种大数据的分布式信息管理系统
。
[0010]本专利技术的第三个目的在于提出一种计算机设备
。
[0011]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质
。
[0012]为达上述目的，本专利技术第一方面实施例提出一种基于大数据的分布式信息管理方法，包括：
[0013]根据数据集群系统的优先级得到基于数据集群的第一主节点和子节点群；
[0014]根据所述第一主节点和子节点群构建业务分发的分布式信息模型；
[0015]获取子节点群基于分布式信息模型向第一主节点发送的业务订阅请求；
[0016]根据所述业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点，并通过分布式信息模型将业务数据同步传输至第一其它子节点，以得到数据集群的信息同步结果和业务数据的同步传输结果
。
[0017]根据本专利技术实施例的基于大数据的分布式信息管理方法还可以具有以下附加技术特征：
[0018]在本专利技术的一个实施例中，所述第一主节点处于最高优先级，所述子节点群处于次于最高优先级
。
[0019]在本专利技术的一个实施例中，在得到数据集群的信息同步结果和业务数据的同步传输结果之后，所述方法，还包括：
[0020]获取所述第一主节点出现网络终端引起的传输链路故障的传输链路故障数据；
[0021]基于所述传输链路故障数据将处于最高优先级的第一主节点进行优先级降低，并从子节点群中选出最高优先级的子节点作为第二主节点；
[0022]基于所述第二主节点对第二其它子节点的业务请阅请求进行数据分发
。
[0023]在本专利技术的一个实施例中，所述方法，还包括：
[0024]基于监听机制得到第一主节点与子节点群发生连接故障的网络连接稳定性监测数据；
[0025]基于所述网络连接稳定性监测数据得到子节点群分别向分布式信息模型发送的抢占主节点请求；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大数据的分布式信息管理方法，其特征在于，所述方法包括：根据数据集群系统的优先级得到基于数据集群的第一主节点和子节点群；根据所述第一主节点和子节点群构建业务分发的分布式信息模型；获取子节点群基于分布式信息模型向第一主节点发送的业务订阅请求；根据所述业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点，并通过分布式信息模型将业务数据同步传输至第一其它子节点，以得到数据集群的信息同步结果和业务数据的同步传输结果
。2.
根据权利要求1所述的方法，其特征在于，所述第一主节点处于最高优先级，所述子节点群处于次于最高优先级
。3.
根据权利要求2所述的方法，其特征在于，在得到数据集群的信息同步结果和业务数据的同步传输结果之后，所述方法，还包括：获取所述第一主节点出现网络终端引起的传输链路故障的传输链路故障数据；基于所述传输链路故障数据将处于最高优先级的第一主节点进行优先级降低，并从子节点群中选出最高优先级的子节点作为第二主节点；基于所述第二主节点对第二其它子节点的业务请阅请求进行数据分发
。4.
根据权利要求3所述的方法，其特征在于，所述方法，还包括：基于监听机制得到第一主节点与子节点群发生连接故障的网络连接稳定性监测数据；基于所述网络连接稳定性监测数据得到子节点群分别向分布式信息模型发送的抢占主节点请求；基于所述抢占主节点请求将最先抢占成功的子节点调整为最高优先级以作为第三主节点，并向第三其它子节点同步发送业务信息
。5.
根据权利要求3所述的方法，其特征在于，所述从子节点群中选出最高优先级的子节点作为第二主节点，包括：通过人工蜂群算法中多种类型的工蜂对子节点群进行局部寻优得到局部寻优结果；将局部寻优结果汇总到整个蜂群群体寻优结果进行比对，并将根据对比结果得到的最高优先级的子节点作为第二主节点
。6.
根据权利要求4所述的方法，其特征在于，所述根据所述第一主节点和子节点群构建业务分发的分布式信息模型，包括：获取第一主节点和子节点群之间的连接关系；通过
Zookeeper
对所述连接关系和对应子节点群的事务
ID
进行数据训练，以根据数据训练结果得到业务分发的分布式信息模型
。7.
根据权利要求6所述的方法，其特征在于，根据所述业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点，并通过分布式信息模型将业务数据同步传输至第一其它子节点，包括：根据业务订阅请求中的查询...

【专利技术属性】
技术研发人员：周实奇，陈雅娟，陈辉，黄倚霄，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：