数据处理方法及装置制造方法及图纸

技术编号:15653558 阅读:91 留言:0更新日期:2017-06-17 08:27
本发明专利技术公开了数据处理方法及装置,属于数据传输领域。上述方法包括:确定待同步数据节点的排队信息;当所述排队信息满足数据同步条件时,同步来自所述待同步数据节点的数据。本发明专利技术能够保证多个待同步数据节点的数据有序无误的同步到服务器,从而稳定节点数据,降低服务器的峰值压力。

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及数据传输
,特别涉及数据处理方法及装置。
技术介绍
在数据处理领域中,有时会涉及如图1所示的网络架构,即该网络架构包括:服务器11和节点12。服务器11用于接收来自节点12的数据、并进行同步存储,这一过程即为同步数据。节点12为客户端,数量为2个以上,每个节点12都具有唯一的身份标识,服务器11通过不同的身份标识来区分不同的节点12。在多个节点12同时同步大量数据时,服务器11的流量会大幅提升,增大服务器11的峰值压力,由此引发数据写入速度小于请求速度,导致服务器异常、内存膨胀和服务器11崩溃等问题。
技术实现思路
本专利技术实施例提供了数据处理方法及装置。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。根据本专利技术实施例的第一方面,提供了一种数据处理方法,所述方法包括:确定待同步数据节点的排队信息;当所述排队信息满足数据同步条件时,同步来自所述待同步数据节点的数据。在上述方法基础上,作为可选的第一实施例,所述方法还包括:根据所述排队信息,向所述待同步数据节点发送同步状态指示。在上述方法基础上,作为可选的第二示例性实施例,所述方法还包括:所述确定待同步数据节点的排队信息之前,接收所述待同步数据节点发送的排队查询请求;或者,所述确定待同步数据节点的排队信息之前,接收所述待同步数据节点发送的数据。在所述第二示例性实施例的基础上,作为可选的第三示例性实施例,当接收所述待同步数据节点发送的排队查询请求,或者接收到所述待同步数据节点发送的数据时,向所述待同步数据节点发送同步状态指示。在所述第三示例性实施例的基础上,作为可选的第四示例性实施例,如果接收所述待同步数据节点发送的排队查询请求,所述同步来自所述待同步数据节点的数据,包括:向所述待同步数据节点发送允许数据同步的指示;接收所述待同步数据节点发送的数据。在所述第三示例性实施例的基础上,作为可选的第五示例性实施例,如果接收所述待同步数据节点发送的排队查询请求,当所述排队信息不满足数据同步条件时,向所述待同步数据节点发送禁止数据同步的指示;如果接收所述待同步数据节点发送的待同步数据,当所述排队信息不满足数据同步条件时,丢弃所述数据,并向所述待同步数据节点发送数据同步失败的指示。在所述方法、及所述第一至第五示例性实施例中的任一个中,作为可选的第六示例性实施例,所述同步来自所述待同步数据节点的数据,包括:按照所述排队信息中包含的开始排队时刻,同步来自所述待同步数据节点的数据。在所述方法、及所述第一至第五示例性实施例中的任一个中,作为可选的第七示例性实施例,所述方法还包括:在所述同步来自所述待同步数据节点的数据之后,将所述待同步数据节点从记录所述排队信息的排队列表中移除。在所述第七示例性实施例的基础上,作为可选的第八示例性实施例,所述确定所述待同步数据节点的排队信息,包括:判断所述待同步数据节点是否已在所述排队列表中;如果所述待同步数据节点已在所述排队列表中,计算所述待同步数据节点当前在所述排队列表中的排队序号;如果所述待同步数据节点未在排队列表中,将所述待同步数据节点加入所述排队列表,并为所述待同步数据节点分配排队序号。在所述第八示例性实施例的基础上,作为可选的第九示例性实施例,如果所述待同步数据节点未在排队列表中,所述确定所述待同步数据节点的排队信息,还包括:判断所述排队列表中节点的数量是否超过设定的数量阈值;如果所述排队列表中节点的数量超过设定的数量阈值,向所述待同步数据节点发送排队失败的指示;如果所述排队列表中节点的数量未超过设定的数量阈值,执行所述将所述待同步数据节点加入所述排队列表的步骤。在所述第八示例性实施例的基础上,作为可选的第十示例性实施例,所述确定所述待同步数据节点的排队信息,还包括:获取所述待同步数据节点的待同步数据的数据量;判断所述待同步数据的数据量是否超出设定的数据量阈值;如果所述待同步数据的数据量超出设定的数据量阈值,向所述待同步数据节点发送排队失败的指示;如果所述待同步数据的数据量未超出设定的数据量阈值,执行所述判断所述待同步数据节点是否已在排队列表中的步骤。在所述方法、及所述第一至第五示例性实施例的任一个中,作为可选的第十一示例性实施例,所述方法还包括:每隔设置的自动掉线时间,比较所述待同步数据节点的当前排队时间和所述自动掉线时间;如果所述待同步数据节点的当前排队时间大于所述自动掉线时间,从记录所述排队信息的排队列表中移除所述待同步数据节点。根据本专利技术实施例的第二方面,提供一种数据处理装置,所述装置包括:处理器,用于确定所述待同步数据节点的排队信息;在所述排队信息满足数据同步条件时,同步来自所述待同步数据节点的数据;存储器,用于存储所述待同步数据节点的数据。在所述装置的基础上,作为可选的第一示例性实施例,所述装置还包括:发射器;所述处理器还用于,根据所述排队信息,触发所述发射器向所述待同步数据节点发送同步状态指示。在所述装置的基础上,作为可选的第二示例性实施例,所述装置还包括:接收器,用于接收所述待同步数据节点发送的排队查询请求;或者,接收所述待同步数据节点发送的数据。在所述第二示例性实施例的基础上,作为可选的第三示例性实施例,所述装置还包括:发射器;所述处理器还用于,在所述接收器接收所述待同步数据节点发送的排队查询请求,或者接收所述待同步数据节点发送的数据时,触发所述发射器向所述待同步数据节点发送同步状态指示。在所述第三示例性实施例的基础上,作为可选的第四示例性实施例,所述发射器还用于,由所述处理器在所述接收器接收所述待同步数据节点发送的排队查询请求时触发,向所述待同步数据节点发送允许数据同步的指示;所述接收器,还用于接收所述待同步数据节点发送的数据。在所述第三示例性实施例的基础上,作为可选的第五示例性实施例,所述发射器还用于,在所述处理器确定所述排队信息不满足数据同步条件、且所述接收器接收所述待同步数据节点发送的排队查询请求时,向所述待同步数据节点发送禁止数据同步的指示;在所述处理器确定所述排队信息不满足数据同步条件、且所述接收器接收所述待同步数据节点发送的数据时,向所述待同步数据节点发送数据同步失败的指示;所述处理器,还用于在确定所述排队信息不满足数据同步条件、且所述接收器接收所述待同步数据节点发送的数据时,丢弃所述数据。在所述装置、及所述第一至第五示例性实施例的任一个中,作为可选的第六示例性实施例,所述处理器在同步来自所述待同步数据节点的数据时,被配置为:按照所述排队信息中包含的排队时刻,同步来自所述待同步数据节点的数据。在所述装置、及所述第一至第五示例性实施例的任一个中,作为可选的第七示例性实施例,所述处理器,还用于在同步来自所述待同步数据节点的数据之后,将所述待同步数据节点从记录所述排队信息的排队列表中移除。在所述第七示例性实施例的基础上,作为可选的第八示例性实施例,所述处理器在确定所述待同步数据节点的排队信息时,被配置为:判断所述待同步数据节点是否已在所述排队列表中;如果所述待同步数据节点已在所述排队列表中,计算所述本文档来自技高网...
数据处理方法及装置

【技术保护点】
一种数据处理方法,其特征在于,所述方法包括:确定待同步数据节点的排队信息;当所述排队信息满足数据同步条件时,同步来自所述待同步数据节点的数据。

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:确定待同步数据节点的排队信息;当所述排队信息满足数据同步条件时,同步来自所述待同步数据节点的数据。2.如权利要求1所述的方法,其特征在于,所述方法还包括:根据所述排队信息,向所述待同步数据节点发送同步状态指示。3.如权利要求1所述的方法,其特征在于,所述方法还包括:所述确定待同步数据节点的排队信息之前,接收所述待同步数据节点发送的排队查询请求;或者,所述确定待同步数据节点的排队信息之前,接收所述待同步数据节点发送的数据。4.如权利要求3所述的方法,其特征在于,所述方法还包括:当接收所述待同步数据节点发送的排队查询请求,或者接收到所述待同步数据节点发送的数据时,向所述待同步数据节点发送同步状态指示。5.如权利要求4所述的方法,其特征在于,如果接收所述待同步数据节点发送的排队查询请求,所述同步来自所述待同步数据节点的数据,包括:向所述待同步数据节点发送允许数据同步的指示;接收所述待同步数据节点发送的数据。6.如权利要求4所述的方法,其特征在于,如果接收所述待同步数据节点发送的排队查询请求,当所述排队信息不满足数据同步条件时,向所述待同步数据节点发送禁止数据同步的指示;如果接收所述待同步数据节点发送的待同步数据,当所述排队信息不满足数据同步条件时,丢弃所述数据,并向所述待同步数据节点发送数据同步失败的指示。7.如权利要求1至6任一项所述的方法,其特征在于,所述同步来自所述待同步数据节点的数据,包括:按照所述排队信息中包含的开始排队时刻,同步来自所述待同步数据节点的数据。8.如权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:在所述同步来自所述待同步数据节点的数据之后,将所述待同步数据节点从记录所述排队信息的排队列表中移除。9.如权利要求8所述的方法...

【专利技术属性】
技术研发人员:苏建中邵金华孙锦段后利王强
申请(专利权)人:北京索瑞特医学技术有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1