一种数据分布式存储的通信处理方法及装置制造方法及图纸

技术编号:38145670 阅读:10 留言:0更新日期:2023-07-08 10:03
本申请提供了一种数据分布式存储的通信处理方法及装置,在接收到数据分布存储指令后,根据存储指令,生成开始节点,并将开始节点的节点信息发送给至少一个传播节点。之后根据开始节点的节点信息和传播节点的节点信息构建节点信息表,并将节点信息表在集群中的所有节点中依次传播,以使所述节点信息表得到所述集群中的所有节点的节点信息。最后将节点信息表重新发送至集群中的所有节点。通过上述方法,使得分布式存储集群中的所有节点都保存有各个节点的节点信息,当需要进行数据的分布式存储时,节点之间仅需通过保存的节点信息即可完成数据的传输以及存储,不再需要通过广播模式进行网络群发或是中间节点的参与,数据的传输过程更为高效安全。输过程更为高效安全。输过程更为高效安全。

【技术实现步骤摘要】
一种数据分布式存储的通信处理方法及装置


[0001]本申请涉及分布式存储
,特别是涉及一种数据分布式存储的通信处理方法及装置。

技术介绍

[0002]随着航空业务功能的逐渐多元化,航空业务所需要存储的数据及种类也趋于复杂。在目前的机票查询业务中,其往往需要数量较为庞大且种类繁多的报文数据,因此,现有技术中通常采用分布式存储技术对其进行存储。
[0003]在现有技术对数据进行分布式存储的过程中,通常采用自研的群节点进行数据的分部存储,因而群节点之间的通信质量对于数据分布存储的准确性起着至关重要的作用。现有的群节点之间通常采用TCP分布式协议来完成节点之间的通信,虽然TCP分布式协议能够有效保障信息的可靠性,但在网络资源较为紧张的情况下,由于基于TCP分布式协议的通信需要一个中间节点来维持所有节点之间的通信,中间节点的存在导致节点之间的通信需要频繁经由中间节点来进行交互,网络资源的使用压力较大。
[0004]而在另外一种用UDP分布式协议来进行节点之间通信的过程中,虽然在此协议下节点直接通过广播模式即可完成对局域网内所有节点的通信,但在广播模式下再网络内进行数据的群发,在传输的过程中容易造成数据的丢失,数据传输的可靠性较低。
[0005]因此,如何解决现有技术在较为紧张的网络资源下,难以准确维持数据分布式存储的问题,成为本领域技术人员急需解决的技术问题。

技术实现思路

[0006]基于上述问题,为了解决在网络资源紧张的情况下,难以准确维持数据分布式存储的问题,本申请提供了一种数据分布式存储的通信处理方法及装置。
[0007]第一方面,本申请公开了一种数据分布式存储的通信处理方法,应用于分布式存储集群中,包括:
[0008]在接收到数据分布存储指令后,根据所述数据分布存储指令,生成开始节点;所述分布式存储集群中包括多个传播节点;
[0009]将所述开始节点的节点信息发送给至少一个传播节点;所述节点信息用于节点之间的通信;
[0010]根据所述开始节点的节点信息和所述传播节点的节点信息,构建节点信息表;所述传播节点为接收到所述开始节点的节点信息的节点;
[0011]将所述节点信息表在所述集群中的所有节点中依次传播,以使所述节点信息表得到所述集群中的所有节点的节点信息;
[0012]将所述节点信息表重新发送至所述集群中的所有节点。
[0013]可选的,所述将所述节点信息表重新发送至所述集群中的所有节点之后,还包括:
[0014]在所述节点信息表的更新次数达到预设阈值时,根据当前的节点信息表与历史的
节点信息表对所述集群进行失效节点分析;
[0015]若所述集群内存在失效节点,则对所述失效节点进行下线处理。
[0016]可选的,所述在所述节点信息表的更新次数达到预设阈值时,根据当前的节点信息表与历史的节点信息表对所述集群进行失效节点分析,包括:
[0017]将所述当前的节点信息表与所述历史的节点信息表进行节点信息对比,若所述历史的节点信息表中的节点信息并未显示于当前的节点信息表中,则将与未显示的节点信息对应的节点确定为失效节点。
[0018]可选的,所述数据分布存储指令中含有需要进行分布式存储的业务数据;所述生成开始节点之前,还包括:
[0019]通过预设解析算法,对所述业务数据进行安全校验;
[0020]若所述业务数据通过所述安全校验,则对所述业务数据进行格式转换,得到可识别的业务数据。
[0021]可选的,所述将所述节点信息表重新发送至所述集群中的所有节点之前,还包括:
[0022]对所述节点信息表进行加密处理。
[0023]第二方面,本申请公开了一种数据分布式存储的通信处理装置,包括:
[0024]生成模块,用于在接收到数据分布存储指令后,根据所述数据分布存储指令,生成开始节点;所述分布式存储集群中包括多个传播节点;
[0025]发送模块,用于将所述开始节点的节点信息发送给至少一个传播节点;所述节点信息用于节点之间的通信;
[0026]构建模块,用于根据所述开始节点的节点信息和所述传播节点的节点信息,构建节点信息表;所述传播节点为接收到所述开始节点的节点信息的节点;
[0027]第一发送模块,用于将所述节点信息表在所述集群中的所有节点中依次传播,以使所述节点信息表得到所述集群中的所有节点的节点信息;
[0028]第二发送模块,用于将所述节点信息表重新发送至所述集群中的所有节点。
[0029]可选的,所述通信处理装置,还包括:失效节点分析模块;所述失效节点分析模块,用于:
[0030]在所述节点信息表的更新次数达到预设阈值时,根据当前的节点信息表与历史的节点信息表对所述集群进行失效节点分析;
[0031]若所述集群内存在失效节点,则对所述失效节点进行下线处理。
[0032]可选的,所述失效节点分析模块,具体用于:
[0033]将所述当前的节点信息表与所述历史的节点信息表进行节点信息对比,若所述历史的节点信息表中的节点信息并未显示于当前的节点信息表中,则将与未显示的节点信息对应的节点确定为失效节点。
[0034]可选的,所述通信处理装置,还包括:安全校验模块;所述安全校验模块,用于:
[0035]通过预设解析算法,对所述业务数据进行安全校验;
[0036]若所述业务数据通过所述安全校验,则对所述业务数据进行格式转换,得到可识别的业务数据。
[0037]可选的,所述通信处理装置,还包括:加密模块,用于对所述节点信息表进行加密处理。
[0038]相较于现有技术,本申请具有以下有益效果:本申请提供了一种数据分布式存储的通信处理方法及装置,在接收到数据分布存储指令后,根据存储指令,生成开始节点,并将开始节点的节点信息发送给至少一个传播节点。之后根据开始节点的节点信息和传播节点的节点信息构建节点信息表,并将节点信息表在集群中的所有节点中依次传播,以使所述节点信息表得到所述集群中的所有节点的节点信息。最后将节点信息表重新发送至集群中的所有节点。通过上述方法,使得分布式存储集群中的所有节点都保存有各个节点的节点信息,当需要进行数据的分布式存储时,节点之间仅需通过保存的节点信息即可完成数据的传输以及存储,不再需要通过广播模式进行网络群发或是中间节点的参与,数据的传输过程更为高效安全。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0040]图1为本申请实施例提供的一种数据分布式存储的通信处理方法的流程示意图;
[0041]图2为本申请实施例提供的一种数据分布式存储的通信处理装置的结构示意图。
具体本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据分布式存储的通信处理方法,应用于分布式存储集群中,其特征在于,包括:在接收到数据分布存储指令后,根据所述数据分布存储指令,生成开始节点;所述分布式存储集群中包括多个传播节点;将所述开始节点的节点信息发送给至少一个传播节点;所述节点信息用于节点之间的通信;根据所述开始节点的节点信息和所述传播节点的节点信息,构建节点信息表;所述传播节点为接收到所述开始节点的节点信息的节点;将所述节点信息表在所述集群中的所有节点中依次传播,以使所述节点信息表得到所述集群中的所有节点的节点信息;将所述节点信息表重新发送至所述集群中的所有节点。2.根据权利要求1所述的方法,其特征在于,所述将所述节点信息表重新发送至所述集群中的所有节点之后,还包括:在所述节点信息表的更新次数达到预设阈值时,根据当前的节点信息表与历史的节点信息表对所述集群进行失效节点分析;若所述集群内存在失效节点,则对所述失效节点进行下线处理。3.根据权利要求2所述的方法,其特征在于,所述在所述节点信息表的更新次数达到预设阈值时,根据当前的节点信息表与历史的节点信息表对所述集群进行失效节点分析,包括:将所述当前的节点信息表与所述历史的节点信息表进行节点信息对比,若所述历史的节点信息表中的节点信息并未显示于当前的节点信息表中,则将与未显示的节点信息对应的节点确定为失效节点。4.根据权利要求1所述的方法,其特征在于,所述数据分布存储指令中含有需要进行分布式存储的业务数据;所述生成开始节点之前,还包括:通过预设解析算法,对所述业务数据进行安全校验;若所述业务数据通过所述安全校验,则对所述业务数据进行格式转换,得到可识别的业务数据。5.根据权利要求1所述的方法,其特征在于,所述将所述节点信息表重新发送至所述集群中的所有...

【专利技术属性】
技术研发人员:李一鸣贾永强张宏海杨永凯崔斌豪智强张凯王英华
申请(专利权)人:中国民航信息网络股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1