去中心化的数据处理方法、电子装置和存储介质制造方法及图纸

技术编号:26926468 阅读:22 留言:0更新日期:2021-01-01 22:55
本申请涉及一种去中心化的数据处理方法、电子装置和存储介质。其中,该方法包括:第一节点接收第二节点发送的数据请求消息,其中,数据请求消息包括:数据处理标识和所请求数据的描述信息,数据处理标识用于指示第一节点对第二节点所请求的数据的处理方式;第一节点按照预设规则对数据请求消息中的数据处理标识进行修改,将修改后的数据请求消息发送给第三节点,并接收第三节点响应于数据请求消息而返回的第一数据;第一节点根据描述信息确定数据请求消息所请求的第二数据;第一节点根据与数据处理标识对应的处理方式处理第二数据,得到第三数据,并将第三数据和第一数据发送给第二节点处理。通过本申请,降低了大数据集群运算负荷。

【技术实现步骤摘要】
去中心化的数据处理方法、电子装置和存储介质
本申请涉及数据处理领域,特别是涉及一种去中心化的数据处理方法、电子装置和存储介质。
技术介绍
机器在进行数据分析过程中,如果将数据分析结果临时存储,则会增加因临时存储导致的额外I/O开销;如果不对数据分析结果进行临时存储,则在该机器偶然宕机时会丢失之前所作的数据分析结果。这样的问题在大数据处理中尤为突出:目前的大数据分析方法多数是将各个设备的各类数据集中汇集到大数据集群进行统一存储、查询和数据分析,在这种情况下,数据的收集不仅会占用大量的带宽。并且,大数据集群中的机器同样面临I/O开销大的问题,或者因大数据集中在大数据集群的机器中处理,导致机器宕机后大量数据分析结果丢失的问题。针对相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题,目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种去中心化的数据处理方法、电子装置和存储介质,以至少解决相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题。第一方面,本申请实施例提供了一种去中心化的数据处理方法,应用于具有多个节点的网络,包括:第一节点接收第二节点发送的数据请求消息,其中,所述数据请求消息包括:数据处理标识和所请求数据的描述信息,所述数据处理标识用于指示所述第一节点对所述第二节点所请求的数据的处理方式,所述处理方式包括以下至少之一:对所述第二节点所请求的数据进行分析后发送给所述第二节点,直接将所述第二节点所请求的数据发送给所述第二节点;所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点,并接收所述第三节点响应于所述数据请求消息而返回的第一数据;所述第一节点根据所述描述信息确定所述数据请求消息所请求的第二数据;所述第一节点根据与所述数据处理标识对应的处理方式处理所述第二数据,得到第三数据,并将所述第三数据和所述第一数据发送给所述第二节点。在其中一些实施例中,所述第一节点包括与所述第二节点邻近的一个或者多个节点;所述第三节点包括与所述第一节点邻近的一个或者多个节点。在其中一些实施例中,第一节点获取所述网络的拓扑结构;第一节点确定在所述拓扑结构中与所述第一节点直接连接的一个或者多个节点为所述第三节点。在其中一些实施例中,第一节点获取所述网络中所有节点的IP地址特征值;第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。在其中一些实施例中,第一节点获取所述网络中所有节点的IP地址特征值;第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。在其中一些实施例中,数据处理标识包括以下至少之一:第一数据处理标识和第二数据处理标识;其中,所述第一处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,将所述原始数据作为所述第三数据;所述第二处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据。在其中一些实施例中,数据处理标识还包括第三数据处理标识,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点包括:在所述数据请求消息中的所述数据处理标识不为所述第三数据处理标识的情况下,所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点;其中,所述第三数据处理标识对应的处理方式包括:获取所述第一节点中存储的与所述数据对应的原始数据,对所述原始数据进行数据分析,将进行数据分析后得到的数据作为所述第三数据。在其中一些实施例中,预设规则包括以下至少之一:在所述数据请求消息中包括所述第一数据处理标识的情况下,将所述第一数据处理标识修改为所述第二数据处理标识或者第三数据处理标识;在所述数据请求消息中包括所述第二数据处理标识的情况下,将所述第二数据处理标识修改为第三数据处理标识。第二方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种去中心化的数据处理方法。第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种去中心化的数据处理方法。相比于相关技术,本申请实施例提供的去中心化的数据处理方法、电子装置和存储介质,解决了相关技术中由大数据集群集对大数据进行分析处理,从而导致大数据集群运算负荷大的问题,降低了大数据集群运算负荷。本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:图1本专利技术实施例的去中心化的数据处理方法的终端的硬件结构框图;图2是根据本申请实施例的去中心化的数据处理方法的流程图;图3是根据本申请优选实施例的去中心化的数据处理方法的流程图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的
技术实现思路
的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属
内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过本文档来自技高网
...

【技术保护点】
1.一种去中心化的数据处理方法,应用于具有多个节点的网络,其特征在于包括:/n第一节点接收第二节点发送的数据请求消息,其中,所述数据请求消息包括:数据处理标识和所请求数据的描述信息,所述数据处理标识用于指示所述第一节点对所述第二节点所请求的数据的处理方式,所述处理方式包括以下至少之一:对所述第二节点所请求的数据进行分析后发送给所述第二节点,直接将所述第二节点所请求的数据发送给所述第二节点;/n所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点,并接收所述第三节点响应于所述数据请求消息而返回的第一数据;/n所述第一节点根据所述描述信息确定所述数据请求消息所请求的第二数据;/n所述第一节点根据与所述数据处理标识对应的处理方式处理所述第二数据,得到第三数据,并将所述第三数据和所述第一数据发送给所述第二节点。/n

【技术特征摘要】
1.一种去中心化的数据处理方法,应用于具有多个节点的网络,其特征在于包括:
第一节点接收第二节点发送的数据请求消息,其中,所述数据请求消息包括:数据处理标识和所请求数据的描述信息,所述数据处理标识用于指示所述第一节点对所述第二节点所请求的数据的处理方式,所述处理方式包括以下至少之一:对所述第二节点所请求的数据进行分析后发送给所述第二节点,直接将所述第二节点所请求的数据发送给所述第二节点;
所述第一节点按照预设规则对所述数据请求消息中的所述数据处理标识进行修改,将修改后的所述数据请求消息发送给第三节点,并接收所述第三节点响应于所述数据请求消息而返回的第一数据;
所述第一节点根据所述描述信息确定所述数据请求消息所请求的第二数据;
所述第一节点根据与所述数据处理标识对应的处理方式处理所述第二数据,得到第三数据,并将所述第三数据和所述第一数据发送给所述第二节点。


2.根据权利要求1所述的方法,其特征在于,所述第一节点包括与所述第二节点邻近的一个或者多个节点;所述第三节点包括与所述第一节点邻近的一个或者多个节点。


3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一节点获取所述网络的拓扑结构;
所述第一节点确定在所述拓扑结构中与所述第一节点直接连接的一个或者多个节点为所述第三节点。


4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一节点获取所述网络中所有节点的IP地址特征值;
所述第一节点根据IP地址特征值,确定与所述第一节点的IP地址特征值的相似度大于预设阈值的一个或多个节点为所述第三节点。


5.根据权利要求1所述的方法,其特征在于,所述数据请求消息是由所述第二节点按照所述预设规则对所述第二节点接收到的数据请求消息中的数据处理标识进行修改后,发送给所述第一节点的;或者,所述数据请求消息是由所述第二节点根据所述第二节点待分析的数据生成并发送给所述第一节...

【专利技术属性】
技术研发人员:张杰范渊
申请(专利权)人:杭州安恒信息技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1