【技术实现步骤摘要】
基于大数据的分布式信息管理方法和系统
[0001]本专利技术涉及信息管理
,尤其涉及基于大数据的分布式信息管理方法
、
系统
、
设备及存储介质
。
技术介绍
[0002]在通过主系统对其下属的若干个子系统进行数据调用和分发的过程中,由于主系统需要处理海量的业务数据,若主系统的网络突然发生故障,容易导致整个系统处于瘫痪状态,影响其它子节点的正常运营
。
在现有技术中,为了减少主系统故障对其它子节点的运营影响,通常是通过设置心跳包对数据传输链路进行监控,并通过给主系统设置备用节点对数据进行临时存储,从而在主系统发生故障时,通过备用节点替代主系统进行数据分发,但是,这种方式大大增加了数据存储和调用的管理成本,且在主系统恢复后,从备用节点切回主系统时容易出现数据波动,影响数据传输的一致性
。
[0003]CN202110721416.2
公开了一种用于跨域大数据平台的分布式集群状态信息管理方法
、
系统及电子设备
。
属于数据处理领域,该跨域大数据平台的分布式集群状态信息管理方法包括:将跨域大数据平台包括的总部大数据平台和省份大数据平台的各个大数据平台的对外开放节点列表信息备份于各个大数据平台的集群内的
Zookeeper
服务组件,并缓存一份于本集群的
leader
节点,集群内的各节点注册为
Zookeeper
组件的客户端;以及进行省份大数据平台在总部大 ...
【技术保护点】
【技术特征摘要】
1.
一种基于大数据的分布式信息管理方法,其特征在于,所述方法包括:根据数据集群系统的优先级得到基于数据集群的第一主节点和子节点群;根据所述第一主节点和子节点群构建业务分发的分布式信息模型;获取子节点群基于分布式信息模型向第一主节点发送的业务订阅请求;根据所述业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点,并通过分布式信息模型将业务数据同步传输至第一其它子节点,以得到数据集群的信息同步结果和业务数据的同步传输结果
。2.
根据权利要求1所述的方法,其特征在于,所述第一主节点处于最高优先级,所述子节点群处于次于最高优先级
。3.
根据权利要求2所述的方法,其特征在于,在得到数据集群的信息同步结果和业务数据的同步传输结果之后,所述方法,还包括:获取所述第一主节点出现网络终端引起的传输链路故障的传输链路故障数据;基于所述传输链路故障数据将处于最高优先级的第一主节点进行优先级降低,并从子节点群中选出最高优先级的子节点作为第二主节点;基于所述第二主节点对第二其它子节点的业务请阅请求进行数据分发
。4.
根据权利要求3所述的方法,其特征在于,所述方法,还包括:基于监听机制得到第一主节点与子节点群发生连接故障的网络连接稳定性监测数据;基于所述网络连接稳定性监测数据得到子节点群分别向分布式信息模型发送的抢占主节点请求;基于所述抢占主节点请求将最先抢占成功的子节点调整为最高优先级以作为第三主节点,并向第三其它子节点同步发送业务信息
。5.
根据权利要求3所述的方法,其特征在于,所述从子节点群中选出最高优先级的子节点作为第二主节点,包括:通过人工蜂群算法中多种类型的工蜂对子节点群进行局部寻优得到局部寻优结果;将局部寻优结果汇总到整个蜂群群体寻优结果进行比对,并将根据对比结果得到的最高优先级的子节点作为第二主节点
。6.
根据权利要求4所述的方法,其特征在于,所述根据所述第一主节点和子节点群构建业务分发的分布式信息模型,包括:获取第一主节点和子节点群之间的连接关系;通过
Zookeeper
对所述连接关系和对应子节点群的事务
ID
进行数据训练,以根据数据训练结果得到业务分发的分布式信息模型
。7.
根据权利要求6所述的方法,其特征在于,根据所述业务订阅请求将相应的业务数据反馈至子节点群中的第一子节点,并通过分布式信息模型将业务数据同步传输至第一其它子节点,包括:根据业务订阅请求中的查询...
【专利技术属性】
技术研发人员:周实奇,陈雅娟,陈辉,黄倚霄,
申请(专利权)人:中国移动通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。