数据处理方法和装置,及分布式文件系统制造方法及图纸

技术编号:11384859 阅读:51 留言:0更新日期:2015-05-01 11:25
本发明专利技术实施例提供一种数据处理方法和装置,及分布式文件系统。本发明专利技术数据处理方法,应用于分布式文件系统,分布式文件系统包括用户终端和多个服务器;方法由用户终端执行,则方法包括:分别向至少两个服务器发送订阅消息;接收至少两个服务器发送的数据更新消息,并将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若数据更新消息中的更新数据的版本号大于本地存储的数据的版本号,则存储数据更新消息中的更新数据,并删除本地存储的数据;或者,若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号,则删除数据更新消息。本发明专利技术实施例有效地解决了现有技术中用户终端在获取最新数据时出现了一定的时延的问题。

【技术实现步骤摘要】

本专利技术实施例涉及通信技术,尤其涉及一种数据处理方法和装置,及分布式文件系统
技术介绍
目前,分布式文件系统主要包括:用户终端和服务器(也可以称之为服务器),其中,该服务器可以为存储设备等,多个服务器共同构成一个集群。现有技术中用户终端向集群中的节点(即上述的服务器)获取数据的方法主要以订阅数据的方式来实现,具体的,用户终端向集群内某个节点发送订阅消息,接收到该订阅消息的节点,在本地数据发生变化后,会将变化后的数据发送给该用户终端,从而使得该用户终端能够同步获得最新的数据。另外,用户终端可以实时检测该节点是否脱离集群,并在检测到脱离集群后,需要重新发起订阅消息给集群内其他的节点,以重新通过其他的节点获取最新的数据,以实现数据同步,因此,使得用户终端在获取最新数据时出现了一定的时延。
技术实现思路
本专利技术实施例提供一种数据处理方法和装置,及分布式文件系统,以克服现有技术中用户终端在获取最新数据时出现了一定的时延的问题。本专利技术实施例第一方面提供一种数据处理方法,应用于分布式文件系统,所述分布式文件系统包括用户终端和多个服务器;其中,所述方法由所述用户终端执行,则所述方法包括:分别向至少两个服务器发送订阅消息;接收所述至少两个服务器发送的数据更新消息,并将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号,则存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。在第一方面的第一种可能实现方式中,还包括:分别向所述至少两个服务器发送心跳检测消息;若在预设时间没有接收所述至少两个服务器中的一个或多个服务器的心跳反馈消息,则确认所述一个或多个服务器故障,并向所述至少两个服务器之外的其他服务器发送订阅消息,以保证能够接收至少两个服务器发送的数据更新消息。本专利技术实施例第二方面提供一种数据处理方法,应用于分布式文件系统,所述分布式文件系统包括用户终端和多个服务器;其中,所述方法由所述服务器执行,则所述方法包括:接收所述用户终端发送的至少两个订阅消息中一个订阅消息;在本地数据更新后,将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端,以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时,存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。本专利技术实施例第三方面提供一种数据处理装置,设置在分布式文件系统,所述分布式文件系统还包括:多个服务器,其中,所述数据处理装置包括:收发模块,用于分别向所述多个服务器中的至少两个服务器发送订阅消息;所述收发模块还用于接收所述至少两个服务器发送的数据更新消息;处理模块,用于将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号,则存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。在第三方面的第一种可能实现方式中,所述收发模块还用于分别向所述至少两个服务器发送心跳检测消息;所述处理模块还用于若在预设时间所述收发模块没有接收所述至少两个服务器中的一个或多个服务器的心跳反馈消息,则确认所述一个或多个服务器故障;所述收发模块还用于向所述至少两个服务器之外的其他服务器发送订阅消息,以保证能够接收至少两个服务器发送的数据更新消息。本专利技术实施例第四方面提供一种数据处理装置,设置在所述分布式文件系统中,所述分布式文件系统还包括:用户终端,其中,所述数据处理装置包括:收发模块,用于接收所述用户终端发送的至少两个订阅消息中一个订阅消息;处理模块,用于在本地数据更新后,将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端,以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时,存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。本专利技术实施例第五方面提供一种分布式文件系统,其中,包括:用户终端和多个服务器;其中,所述用户终端为如上述第三方面所述的数据处理装置;所述服务器为如上述第四面所述的数据处理装置。本专利技术实施例数据处理方法和装置,及分布式文件系统,通过用户终端分别向至少两个服务器发送订阅消息,并在接收至少两个服务器发送的数据更新消息后,将数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若比较出数据更新消息中的更新数据的版本号大于本地存储的数据的版本号,则存储数据更新消息中的更新数据,并删除本地存储的数据,或者,若比较出数据更新消息中的更新数据的版本号小于或等于本地存储的数据的版本号,则删除数据更新消息;由于用户终端同时向至少两个服务器发送订阅消息,相较于现有技术中用户终端获取数据可能存在时延而言,本专利技术有效地保证了用户终端能够及时获取最新的数据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术数据处理方法的所基于的分布式文件系统的架构示意图;图2为本专利技术数据处理方法的实施例一的流程图;图3为本专利技术数据处理方法的实施例二的流程图;图4为本专利技术数据处理方法的实施例三的流程图;图5为本专利技术数据处理装置的实施例一的结构示意图;图6为本专利技术数据处理装置的实施例三的结构示意图;图7为本专利技术分布式文件系统的实施例一的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1为本专利技术数据处理方法的所基于的分布式文件系统的架构示意图,如图1所示,该分布式文件系统包括:用户终端11和多个服务器12;其中,多个服务器12可以共同构成一个集群,每个服务器12在集群中可以称之为节点。另外,在集群中,至少两个服务器12之间能互相正常通信,从而有效地保证了集群的稳定性。图2为本专利技术数据处理方法的实施例一的流程图,应用于图1所示的分布式系统中,如图2所示,该方法可以由用户终端执行,则该方法包本文档来自技高网...

【技术保护点】
一种数据处理方法,应用于分布式文件系统,所述分布式文件系统包括用户终端和多个服务器;其特征在于,所述方法由所述用户终端执行,则所述方法包括:分别向至少两个服务器发送订阅消息;接收所述至少两个服务器发送的数据更新消息,并将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号,则存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。

【技术特征摘要】
1.一种数据处理方法,应用于分布式文件系统,所述分布式文件系统包括用户终端和多个服务器;其特征在于,所述方法由所述用户终端执行,则所述方法包括:分别向至少两个服务器发送订阅消息;接收所述至少两个服务器发送的数据更新消息,并将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;若所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号,则存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。2.根据权利要求1所述的数据处理方法,其特征在于,还包括:分别向所述至少两个服务器发送心跳检测消息;若在预设时间没有接收所述至少两个服务器中的一个或多个服务器的心跳反馈消息,则确认所述一个或多个服务器故障,并向所述至少两个服务器之外的其他服务器发送订阅消息,以保证能够接收至少两个服务器发送的数据更新消息。3.一种数据处理方法,应用于分布式文件系统,所述分布式文件系统包括用户终端和多个服务器;其特征在于,所述方法由所述服务器执行,则所述方法包括:接收所述用户终端发送的至少两个订阅消息中一个订阅消息;在本地数据更新后,将更新后的数据和对应的版本号携带在数据更新消息中发送给所述用户终端,以供所述用户终端将所述数据更新消息中的更新数据的版本号与本地存储的数据的版本号进行比较;并在比较出所述数据更新消息中的更新数据的版本号大于所述本地存储的数据的版本号时,存储所述数据更新消息中的更新数据,并删除所述本地存储的数据;或者,若比较出所述数据更新消息中的更新数据的版本号小于或等于所述本地存储的数据的版本号,则删除所述数据更新消息。4.一种数据处理装置,设置在分布式文件系统,所述分布式文件系统还包括:多个服务器,其特征在于,所述数据处理装置包括:收发模块,用于分...

【专利技术属性】
技术研发人员:常欣红
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1