数据处理方法和系统技术方案

技术编号:20546038 阅读:33 留言:0更新日期:2019-03-09 18:58
本申请涉及云技术中的多级缓存技术,提供了一种数据处理方法和系统。所述方法包括:数据处理服务器接收查询请求;所述数据处理服务器根据所述查询请求查询二级缓存开启标识;当查询到二级缓存开启标识时,所述数据处理服务器将所述查询请求发送至第一缓存服务器;所述第一缓存服务器根据所述查询请求查询相应的缓存数据,当没有查询到缓存数据时,将所述查询请求发送至第二缓存服务器;所述第二缓存服务器根据所述查询请求查询相应的缓存数据,将查询到的缓存数据通过所述第一缓存服务器发送至所述数据处理服务器。采用本方法能够提高数据处理效率。

Data Processing Method and System

This application relates to multi-level caching technology in cloud technology, and provides a data processing method and system. The method includes: the data processing server receives the query request; the data processing server queries the secondary cache opening identification according to the query request; when the query reaches the secondary cache opening identification, the data processing server sends the query request to the first cache server; and the first cache server queries the corresponding cache data according to the query request. When no cached data is queried, the query request is sent to the second cache server, which queries the corresponding cached data according to the query request and sends the queried cached data to the data processing server through the first cache server. This method can improve the efficiency of data processing.

【技术实现步骤摘要】
数据处理方法和系统
本申请涉及计算机
,特别是涉及一种数据处理方法和系统。
技术介绍
随着计算机技术的发展,互联网业务越来越多,给人们的生活带来了诸多便捷。随着互联网业务访问量的剧增,对系统架构要求越来越高,单数据库存储数据已经不能满足需求。目前大部分系统架构,采用单机形式的一级缓存结构来缓解高并发和高可用场景给服务器和数据库带来的压力。然而,目前的系统架构仍然存在缓存雪崩风险,降低了客户端请求响应效率,从而降低了数据处理效率。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高数据处理效率的数据处理方法和系统。一种数据处理方法,所述方法包括:数据处理服务器接收查询请求;所述数据处理服务器根据所述查询请求查询二级缓存开启标识;当查询到二级缓存开启标识时,所述数据处理服务器将所述查询请求发送至第一缓存服务器;所述第一缓存服务器根据所述查询请求查询相应的缓存数据,当没有查询到缓存数据时,将所述查询请求发送至第二缓存服务器;所述第二缓存服务器根据所述查询请求查询相应的缓存数据,将查询到的缓存数据通过所述第一缓存服务器发送至所述数据处理服务器。在其中一个实施例中,所述方法还包括:当所述第二缓存服务器没有查询到缓存数据时,所述第二缓存服务器将所述查询请求发送到数据存储服务器;所述数据存储服务器根据所述查询请求查询相应的数据,将查询到的数据发送至所述第二缓存服务器;所述第二缓存服务器将接收到的数据缓存在本地,并转发至所述第一缓存服务器;所述第一缓存服务器将接收到的数据缓存在本地,并转发至所述数据处理服务器。在其中一个实施例中,所述数据处理服务器接收查询请求之前,所述方法还包括:代理服务器接收终端发送的查询请求;所述代理服务器根据所述查询请求,从候选数据处理服务器中选择数据处理服务器;所述代理服务器将所述查询请求发送至选择的所述数据处理服务器。在其中一个实施例中,所述方法还包括:数据处理服务器接收更新请求;所述数据处理服务器根据所述更新请求对应更新数据存储服务器中的数据,并确定第二缓存服务器对应的更新方式;当所述数据存储服务器中的数据更新成功时,所述数据处理服务器根据所述更新方式,对应更新所述第二缓存服务器中的缓存数据。在其中一个实施例中,所述更新方式包括同步更新方式;所述方法还包括:当所述数据存储服务器中的数据更新失败时,所述数据处理服务器将所述数据存储服务器中的数据还原为更新前的数据;所述数据处理服务器保持所述第二缓存服务器中的缓存数据不变。在其中一个实施例中,所述更新方式包括异步更新方式;所述数据处理服务器根据所述更新方式,对应更新所述第二缓存服务器中的缓存数据,包括:所述数据处理服务器将所述更新请求缓存至请求缓存队列;所述数据处理服务器监测所述请求缓存队列;当监测到所述请求缓存队列中存在更新请求时,所述数据处理服务器从所述请求缓存队列中读取监测到的所述更新请求;所述数据处理服务器根据读取的所述更新请求,更新所述第二缓存服务器中的缓存数据。在其中一个实施例中,所述方法还包括:当所述第二缓存服务器中的缓存数据更新成功时,所述数据处理服务器查询二级缓存开启标识;当查询到二级缓存开启标识时,所述数据处理服务器根据所述更新请求,对应更新第一缓存服务器中的缓存数据。一种数据处理系统,所述系统包括:数据处理服务器、第一缓存服务器和第二缓存服务器;所述数据处理服务器,用于接收查询请求;根据所述查询请求查询二级缓存开启标识;当查询到二级缓存开启标识时,将所述查询请求发送至所述第一缓存服务器;所述第一缓存服务器,用于根据所述查询请求查询相应的缓存数据,当没有查询到缓存数据时,将所述查询请求发送至所述第二缓存服务器;所述第二缓存服务器,用于根据所述查询请求查询相应的缓存数据,将查询到的缓存数据通过所述第一缓存服务器发送至所述数据处理服务器。在其中一个实施例中,所述系统还包括:数据存储服务器;所述数据存储服务器,用于当所述第二缓存服务器没有查询到缓存数据时,接收所述第二缓存服务器发送的查询请求;根据所述查询请求查询相应的数据,将查询到的数据发送至所述第二缓存服务器;所述第二缓存服务器,还用于将接收到的数据缓存在本地,并转发至所述第一缓存服务器;所述第一缓存服务器,还用于将接收到的数据缓存在本地,并转发至所述数据处理服务器。在其中一个实施例中,所述系统还包括:代理服务器;所述代理服务器,用于接收终端发送的查询请求;根据所述查询请求,从候选数据处理服务器中选择数据处理服务器;将所述查询请求发送至选择的所述数据处理服务器。上述数据处理方法和系统,数据处理服务器接收到查询请求时,根据所接收到的查询请求查询二级缓存开启标识,以判断是否已开启二级缓存。当查询到二级缓存开启标识时表明已开启二级缓存,数据处理服务器根据查询请求从第一缓存服务器获取相应的缓存数据,提高了查询请求的响应效率。当第一缓存服务器没有查询到缓存数据时,将查询请求发送至第二缓存服务器,以从第二缓存服务器查询与查询请求对应的缓存数据。这样,当第一缓存服务器中的缓存数据数量足够大时,将数据缓存在第二缓存服务器中,在避免第一缓存服务器缓存雪崩的情况下,保证了查询请求的响应效率,提高了数据处理效率。附图说明图1为一个实施例中数据处理方法的应用场景图;图2为一个实施例中数据处理方法的流程示意图;图3为另一个实施例中数据处理方法的流程示意图;图4为一个实施例中数据处理方法中的数据更新步骤的流程示意图;图5为一个实施例中数据处理系统的结构框图;图6为另一个实施例中数据处理系统的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。本申请提供的数据处理方法,可以应用于如图1所示的应用环境中。其中,数据处理服务器110和第二缓存服务器130通过网络分别与第一缓存服务器120进行通信。数据处理服务器110接收到查询请求时,根据所接收到的查询请求查询二级缓存开启标识,并当查询到二级缓存开启标识时,将接收到的查询请求发送至第一缓存服务器120。第一缓存服务器120根据查询请求查询缓存数据,并当没有查询到缓存数据时,将查询请求发送至第二缓存服务器130.第二缓存服务器130根据查询请求查询缓存数据,并将查询到的缓存数据通过第一缓存服务器120发送至数据处理服务器110。其中,数据处理服务器110、第一缓存服务器120和第二缓存服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中,如图2所示,提供了一种数据处理方法,该方法包括以下步骤:S202,数据处理服务器接收查询请求。其中,查询请求是用于触发查询操作的请求。查询请求具体可以是用于指示查询指定数据的指令,其中,指定数据比如热点数据。具体地,数据处理服务器接收其他计算机设备发送的查询请求。其他计算机设备比如终端或代理服务器。终端检测指定触发操作,检测到指定触发操作时,根据检测到的指定触发操作生成查询请求,并将所生成的查询请求通过有线或无线的方式发送至数据处理服务器。终端也可以将所生成的查询指令发送至代理服务器,经由代理服务器将该查询请求发送至数据处理服务器。S本文档来自技高网...

【技术保护点】
1.一种数据处理方法,所述方法包括:数据处理服务器接收查询请求;所述数据处理服务器根据所述查询请求查询二级缓存开启标识;当查询到二级缓存开启标识时,所述数据处理服务器将所述查询请求发送至第一缓存服务器;所述第一缓存服务器根据所述查询请求查询相应的缓存数据,当没有查询到缓存数据时,将所述查询请求发送至第二缓存服务器;所述第二缓存服务器根据所述查询请求查询相应的缓存数据,将查询到的缓存数据通过所述第一缓存服务器发送至所述数据处理服务器。

【技术特征摘要】
1.一种数据处理方法,所述方法包括:数据处理服务器接收查询请求;所述数据处理服务器根据所述查询请求查询二级缓存开启标识;当查询到二级缓存开启标识时,所述数据处理服务器将所述查询请求发送至第一缓存服务器;所述第一缓存服务器根据所述查询请求查询相应的缓存数据,当没有查询到缓存数据时,将所述查询请求发送至第二缓存服务器;所述第二缓存服务器根据所述查询请求查询相应的缓存数据,将查询到的缓存数据通过所述第一缓存服务器发送至所述数据处理服务器。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述第二缓存服务器没有查询到缓存数据时,所述第二缓存服务器将所述查询请求发送到数据存储服务器;所述数据存储服务器根据所述查询请求查询相应的数据,将查询到的数据发送至所述第二缓存服务器;所述第二缓存服务器将接收到的数据缓存在本地,并转发至所述第一缓存服务器;所述第一缓存服务器将接收到的数据缓存在本地,并转发至所述数据处理服务器。3.根据权利要求1所述的方法,其特征在于,所述数据处理服务器接收查询请求之前,所述方法还包括:代理服务器接收终端发送的查询请求;所述代理服务器根据所述查询请求,从候选数据处理服务器中选择数据处理服务器;所述代理服务器将所述查询请求发送至选择的所述数据处理服务器。4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:数据处理服务器接收更新请求;所述数据处理服务器根据所述更新请求对应更新数据存储服务器中的数据,并确定第二缓存服务器对应的更新方式;当所述数据存储服务器中的数据更新成功时,所述数据处理服务器根据所述更新方式,对应更新所述第二缓存服务器中的缓存数据。5.根据权利要求4所述的方法,其特征在于,所述更新方式包括同步更新方式;所述方法还包括:当所述数据存储服务器中的数据更新失败时,所述数据处理服务器将所述数据存储服务器中的数据还原为更新前的数据;所述数据处理服务器保持所述第二缓存服务器中的缓存数据不变。6.根据权利要求4所述的方法,其特征在于,所述更新方式包括异步更新方式...

【专利技术属性】
技术研发人员:姚茂泽
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1