数据同步方法、分布式系统与应用节点技术方案

技术编号:20484170 阅读:25 留言:0更新日期:2019-03-02 18:41
本申请提供了一种数据同步方法、分布式系统与应用节点,其中,分布式系统还包括负载均衡器、数据库、集群管理节点、第一应用节点以及第二应用节点,该方法包括:各应用节点将数据库记录的应用数据加载至自身的内置存储空间;第一应用节点接收负载均衡器发送的客户端针对数据库的应用数据的数据更新请求;从而,第一应用节点根据数据更新请求更新数据库记录的应用数据,并通知集群管理节点记录数据库的状态为处于被更新状态;进而,各应用节点在监控到集群管理节点记录数据库的状态为处于被更新状态时,将处于被更新状态的数据库记录的应用数据更新至自身的内置存储空间,降低了分布式系统中请求数据过程中的时延,并提高了系统处理效率。

【技术实现步骤摘要】
数据同步方法、分布式系统与应用节点
本申请涉及数据处理
,特别涉及数据同步方法、分布式系统与应用节点。
技术介绍
在分布式系统中,各个应用节点无差别的处理业务,相互之间无差别对等,这种无状态的应用节点很容易横向扩展以承载更多的业务流量。由于各应用节点无差别的处理业务请求且业务请求的分发具备随机性,因此,各应用节点之间的内存同步是该分布式系统数据正确性的保证。现有技术中的分布式系统,应用节点用于无差别处理业务,数据库用于存储数据,当应应用节点接收到数据查询或处理请求后,需向数据库调取数据。但是,应用节点向数据库调取数据存在较长的网络延时,针对涉及数据处理的业务,可以采用为各应用节点分别设置外部挂载的缓存节点的方式来降低网络延时。从而,通过外部挂载的缓存节点同步数据库的数据,如此,在进行数据处理业务时,应用节点直接读取其对应的外部挂载的缓存节点中的数据即可。现有的数据同步方法为各应用节点增加了额外的外挂式缓存节点,应用节点向其对应的外挂式缓存节点发起的读写请求受到网络带宽与并发读写请求数的限制,业务处理的时延问题仍然亟待解决。
技术实现思路
本申请提供了一种数据同步方法、分布式系统与应用节点,以期降低分布式系统中请求数据过程中的时延,提高系统处理效率。第一方面,本申请提供了一种数据同步方法,应用于分布式系统,分布式系统还包括负载均衡器、数据库、集群管理节点、第一应用节点以及第二应用节点,该方法包括:第一应用节点将数据库记录的应用数据加载至第一应用节点的第一内置存储空间;第二应用节点将数据库记录的应用数据加载至第二应用节点的第二内置存储空间;第一应用节点接收负载均衡器发送的客户端针对数据库的应用数据的数据更新请求;从而,第一应用节点根据数据更新请求更新数据库记录的应用数据,并通知集群管理节点记录数据库的状态为处于被更新状态;进而,第一应用节点在监控到集群管理节点记录数据库的状态为处于被更新状态时,将处于被更新状态的数据库记录的应用数据更新至第一内置存储空间;第二应用节点在监控到集群管理节点记录数据库的状态为处于被更新状态时,将处于被更新状态的数据库记录的应用数据更新至第二内置存储空间。通过本实施例提供的方案,可使各应用节点利用自身的内置存储空间同步存储数据库中的应用数据,从而,在涉及数据处理的业务时,能够直接访问本地的内置存储空间,而不用受到输入/输出(Input/Output,I/O)限制与网络时延的影响,提高低频写高频读场景下的访问性能。在本申请一种实现方式中,若数据更新请求携带有待更新数据,第一应用节点根据数据更新请求更新数据库记录的应用数据,包括:第一应用节点将数据库记录的应用数据更新为待更新数据。本申请中,第一应用节点可根据数据更新请求,直接对数据库中的数据进行更新,第一应用节点可对数据库直接进行写入处理,具有较高的灵活性。在本申请另一种实现方式中,数据更新请求还携带有需更新的部分应用数据在数据库的位置,第一应用节点将数据库记录的应用数据更新为待更新数据,包括:第一应用节点将数据库的位置上的需更新的部分应用数据更新为待更新数据。在该实现方式中,第一应用节点可有针对性的处理数据库中的数据,这对于第一应用节点而言,无需对整个数据库进行更新,也无需自身再去确定需要更新的数据的存储位置,简化了处理步骤,提高了处理效率,且这种处理方式更有针对性,使得更新后的数据能存储在数据更新请求指定的位置,方便后续调用或更新。在本申请另一种实现方式中,该方法还包括:第一应用节点接收负载均衡器发送的客户端针对数据库的第一数据查询请求;第一应用节点在第一内置存储空间查询与第一数据查询请求匹配的应用数据,并将查询到的应用数据发送至客户端。通过本实施例所提供的方案,第一应用节点可通过第一内置存储空间存储的数据直接反馈给客户端,无需调取数据库的数据,降低了反馈时延,提高了反馈效率。在本申请另一种实现方式中,该方法还包括:第二应用节点接收负载均衡器发送的客户端针对数据库的第二数据查询请求;第二应用节点在第二内置存储空间查询与第二数据查询请求匹配的应用数据,并将查询到的应用数据发送至客户端。通过本实施例所提供的方案,第二应用节点可通过第二内置存储空间存储的数据直接反馈给客户端,无需调取数据库的数据,降低了反馈时延,提高了反馈效率。在本申请另一种实现方式中,分布式系统还包括数据节点,数据库设置于数据节点。通过本实施例所提供的方案,进一步降低了分布式系统的系统架构复杂度,能够简化后期维护成本,提高分布式系统的鲁棒性。第二方面,本申请提供了一种数据同步方法,应用于第一应用节点,第一应用节点设置于分布式系统中,分布式系统还包括负载均衡器、数据库、集群管理节点以及第二应用节点,数据库记录的应用数据分别加载至第一应用节点的第一内置存储空间和第二应用节点的第二内置存储空间,方法包括:第一应用节点将数据库记录的应用数据加载至第一内置存储空间;第一应用节点接收负载均衡器发送的客户端针对数据库的应用数据的数据更新请求;第一应用节点根据数据更新请求更新数据库记录的应用数据,并通知集群管理节点记录数据库的状态为处于被更新状态;第一应用节点在监控到集群管理节点记录数据库的状态为处于被更新状态时,将处于被更新状态的数据库记录的应用数据更新至第一内置存储空间。通过本实施例提供的方案,可使第一应用节点在接收到数据更新请求时,对数据库所记录的应用数据进行更新,同时通过集群管理节点的通知机制,实现各应用节点所存储数据的同步更新。如此,各应用节点可利用自身的内置存储空间同步存储数据库中的应用数据,从而,在涉及数据处理的业务时,能够直接通访问本地的内置存储空间,而不用受到I/O限制与网络时延的影响,提高低频写高频读场景下的访问性能。在本申请一种实现方式中,数据更新请求携带有待更新数据,第一应用节点根据数据更新请求更新数据库记录的应用数据,包括:第一应用节点将数据库记录的应用数据更新为待更新数据。本申请中,第一应用节点可根据数据更新请求,直接对数据库中的数据进行更新,第一应用节点可对数据库直接进行写入处理,具有较高的灵活性。在本申请另一种实现方式中,数据更新请求还携带有需更新的部分应用数据在数据库的位置,第一应用节点将数据库记录的应用数据更新为待更新数据,包括:第一应用节点将数据库的位置上的需更新的部分应用数据更新为待更新数据。在该实现方式中,第一应用节点可有针对性的处理数据库中的数据,这对于第一应用节点而言,无需对整个数据库进行更新,也无需自身再去确定需要更新的数据的存储位置,简化了处理步骤,提高了处理效率,且这种处理方式更有针对性,使得更新后的数据能存储在数据更新请求指定的位置,方便后续调用或更新。在本申请另一种实现方式中,该方法还包括:第一应用节点接收负载均衡器发送的客户端针对数据库的第一数据查询请求;第一应用节点在第一内置存储空间查询与第一数据查询请求匹配的应用数据,并将查询到的应用数据发送至客户端。通过本实施例所提供的方案,第一应用节点可通过第一内置存储空间存储的数据直接反馈给客户端,无需调取数据库的数据,降低了反馈时延,提高了反馈效率。在本申请另一种实现方式中,分布式系统还包括数据节点,数据库设置于数据节点。通过本实施例所提供的方案,进一步降低了分本文档来自技高网...

【技术保护点】
1.一种数据同步方法,其特征在于,应用于分布式系统,所述分布式系统还包括负载均衡器、数据库、集群管理节点、第一应用节点以及第二应用节点,所述方法包括:所述第一应用节点将所述数据库记录的应用数据加载至所述第一应用节点的第一内置存储空间;所述第二应用节点将所述数据库记录的应用数据加载至所述第二应用节点的第二内置存储空间;所述第一应用节点接收所述负载均衡器发送的客户端针对所述数据库的应用数据的数据更新请求;所述第一应用节点根据所述数据更新请求更新所述数据库记录的应用数据,并通知所述集群管理节点记录所述数据库的状态为处于被更新状态;所述第一应用节点在监控到所述集群管理节点记录所述数据库的状态为处于被更新状态时,将处于被更新状态的所述数据库记录的应用数据更新至所述第一内置存储空间;所述第二应用节点在监控到所述集群管理节点记录所述数据库的状态为处于被更新状态时,将处于被更新状态的所述数据库记录的应用数据更新至所述第二内置存储空间。

【技术特征摘要】
1.一种数据同步方法,其特征在于,应用于分布式系统,所述分布式系统还包括负载均衡器、数据库、集群管理节点、第一应用节点以及第二应用节点,所述方法包括:所述第一应用节点将所述数据库记录的应用数据加载至所述第一应用节点的第一内置存储空间;所述第二应用节点将所述数据库记录的应用数据加载至所述第二应用节点的第二内置存储空间;所述第一应用节点接收所述负载均衡器发送的客户端针对所述数据库的应用数据的数据更新请求;所述第一应用节点根据所述数据更新请求更新所述数据库记录的应用数据,并通知所述集群管理节点记录所述数据库的状态为处于被更新状态;所述第一应用节点在监控到所述集群管理节点记录所述数据库的状态为处于被更新状态时,将处于被更新状态的所述数据库记录的应用数据更新至所述第一内置存储空间;所述第二应用节点在监控到所述集群管理节点记录所述数据库的状态为处于被更新状态时,将处于被更新状态的所述数据库记录的应用数据更新至所述第二内置存储空间。2.根据权利要求1所述的方法,其特征在于,所述数据更新请求携带有待更新数据,所述第一应用节点根据所述数据更新请求更新所述数据库记录的应用数据,包括:所述第一应用节点将所述数据库记录的应用数据更新为所述待更新数据。3.根据权利要求2所述的方法,其特征在于,所述数据更新请求还携带有需更新的部分应用数据在所述数据库的位置,所述第一应用节点将所述数据库记录的应用数据更新为所述待更新数据,包括:所述第一应用节点将所述数据库的位置上的所述需更新的部分应用数据更新为所述待更新数据。4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:所述第一应用节点接收所述负载均衡器发送的客户端针对所述数据库的第一数据查询请求;所述第一应用节点在所述第一内置存储空间查询与所述第一数据查询请求匹配的应用数据,并将查询到的所述应用数据发送至所述客户端。5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:所述第二应用节点接收所述负载均衡器发送的客户端针对所述数据库的第二数据查询请求;所述第二应用节点在所述第二内置存储空间查询与所述第二数据查询请求匹配的应用数据,并将查询到的所述应用数据发送至所述客户端。6.根据权利要求1至5任一项所述的方法,其特征在于,所述分布式系统还包括数据节点,所述数据库设置于所述数据节点。7.一种数据同步方法,其特征在于,应用于第一应用节点,所述第一应用节点设置于分布式系统中,所述分布式系统还包括负载均衡器、数据库、集群管理节点以及第二应用节点,所述数据库记录的应用数据分别加载至所述第一应用节点的第一内置存储空间和所述第二应用节点的第二内置存储空间,所述方法包括:所述第一应用节点将所述数据库记录的应用数据加载至所述第一内置存储空间;所述第一应用节点接收所述负载均衡器发送的客户端针对所述数据库的应用数据的数据更新请求;所述第一应用节点根据所述数据更新请求更新所述数据库记录的应用数据,并通知所述集群管理节点记录所述数据库的状态为处于被更新状态;所述第一应用节点在监控到所述集群管理节点记录所述数据库的状态为处于被更新状态时,将处于被更新状态的所述数据库记录的应用数据更新至所述第一内置存储空间。8.根据权利要求7所述的方法,其特征在于,所述数据更新请求携带有待更新数据,所述第一应用节点根据所述数据更新请求更新所述数据库记录的应用数据,包括:所述第一应用节点将所述数据库记录的应用数据更新为所述待更新数据。9.根据权利要求8所述的方法,其特征在于,所述数据更新请求还携带有需更新的部分应用数据在所述数据库的位置,所述第一应用节点将所述数据库记录的应用数据更新为所述待更新数据,包括:所述第一应用节点将所述数据库的位置上的所述需更新的部分应用数据更新为所述待更新数据。10.根据权利要求7至9任一项所述的方法,其特征在于,所述方法还包括:所述第一应用节点接收所述负载均衡器发送的客户端针对所述数据库的第一数据查询请求;所述第一应用节点在所述第一内置存储空间查询与所述第一数据查询请求匹...

【专利技术属性】
技术研发人员:陈一玮王宝林张广
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1