一种数据存储系统、数据存储方法及数据存储中心技术方案

技术编号:13984063 阅读:46 留言:0更新日期:2016-11-12 19:38
本发明专利技术实施例提供一种数据存储系统、数据存储方法及数据存储中心,该系统包括:存储级别依序升高的n个存储单元;所述n个存储单元包括:第一存储级别的数据存储中心,及存储级别高于所述第一存储级别,且存储级别依序升高的n‑1个存储单元;其中,各存储单元存储有存储级别不高于自身存储级别的数据;所述数据存储中心,用于接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。本发明专利技术实施例可在兼顾海量数据的高存储量要求的情况下,提升数据处理效率。

【技术实现步骤摘要】

本专利技术涉及存储
,具体涉及一种数据存储系统、数据存储方法及数据存储中心
技术介绍
随着数据的爆炸式增长,数据存储系统如何对海量数据有效的进行查询、写入等处理成为了数据存储领域的研究重点。目前数据存储的方式主要是,通过设置一大型数据库来专用的存储海量数据,这种数据存储方式,虽然可通过大型数据库满足海量数据的高存储量要求,但从大型数据库中查询、写入某一数据的效率大幅的降低,牺牲了数据处理效率,数据处理效率如QPS(每秒查询率)等数据查询、写入指标;因此如何在兼顾数据处理效率,和海量数据的高存储量要求的情况下,实现海量数据的存储和处理,成为本领域技术人员急需解决的问题。
技术实现思路
有鉴于此,本专利技术实施例提供一种数据存储系统、数据存储方法及数据存储中心,以在兼顾海量数据的高存储量要求的情况下,提升数据处理效率。为实现上述目的,本专利技术实施例提供如下技术方案:一种数据存储系统,包括:存储级别依序升高的n个存储单元;所述n个存储单元包括:第一存储级别的数据存储中心,及存储级别高于所述第一存储级别,且存储级别依序升高的n-1个存储单元;其中,各存储单元存储有存储级别不高于自身存储级别的数据;所述数据存储中心,用于接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。本专利技术实施例还提供一种数据存储方法,所述数据存储方法包括:接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。本专利技术实施例还提供一种数据存储中心,所述数据存储中心包括:处理请求接收模块,用于接收客户端发送的针对目标数据的处理请求;目标存储级别确定模块,用于确定所述目标数据对应的目标存储级别;目标存储单元寻找模块,用于从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;处理触发模块,用于触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。基于上述技术方案,本专利技术实施例中,数据存储中心针对目标数据的处理请求,只会在存储级别不低于目标存储级别的存储单元中,选择目标存储单元对目标数据进行数据处理;因此本专利技术实施例可针对不同存储级别的需处理的目标数据,适配相应的目标存储单元进行处理,减小可处理目标数据的存储单元的范围,同时可使得所寻找的目标存储单元的数据访问速度,能够与需处理的目标数据的存储级别尽可能的适配,提升针对目标数据的处理效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的数据存储系统的结构示意图;图2为本专利技术实施例提供的数据存储系统的架构应用示意图;图3为本专利技术实施例提供的数据存储方法的流程图;图4为本专利技术实施例提供的确定目标数据的目标存储级别的方法流程图;图5为本专利技术实施例提供的确定目标数据的目标存储级别的另一方法流程图;图6为本专利技术实施例提供的确定目标数据的目标存储级别的再一方法流程图;图7为本专利技术实施例提供的数据存储方法的另一流程图;图8为本专利技术实施例提供的数据查询的处理示意图;图9为本专利技术实施例提供的数据查询的另一处理示意图;图10为本专利技术实施例提供的数据存储方法的再一流程图;图11为本专利技术实施例提供的数据存储中心的结构框图;图12为本专利技术实施例提供的目标存储级别确定模块的结构框图;图13为本专利技术实施提供的数据存储中心的另一结构框图;图14为本专利技术实施例提供的数据存储中心的再一结构框图;图15为本专利技术实施例提供的数据存储中心的硬件配置示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1为本专利技术实施例提供的数据存储系统的结构示意图,参照图1,该数据存储系统可以包括:n个存储单元,本专利技术实施例可为各个存储单元定义存储级别,且该n个存储单元的存储级别依序升高,即第i个存储单元的存储级别高于第i-1个存储单元的存储级别,如第一个存储单元的存储级别为第一存储级别,第二个存储单元的存储级别为第二存储级别,且第二存储级别高于第一存储级别,以此类推;n可以是大于或等于2的整数,具体取值可视实际数据存储需求而定;回到图1,该n个存储单元可以进一步划分为第一存储级别的数据存储中心10,及存储级别高于第一存储级别,且存储级别依序升高的n-1个存储单元20;在本专利技术实施例中,n-1个存储单元20中的各存储单元可以认为是数据库形式的存储系统,数据存储中心10可以认为是具有数据处理能力和缓存能力的数据处理设备;在本专利技术实施例中,存储级别越低则对应的存储单元的数据访问速度越快、数据存储容量越小;可以理解的是,数据存储中心为本专利技术实施例执行数据处理逻辑,与n-1个存储单元20中的各存储单元交互调度数据的设备,同时兼具数据缓存能力,因此数据存储中心的数据访问速度最快,但数据存储容量可能最小;而n-1个存储单元中,依据存储级别的升高顺序,存储单元的数据访问速度逐级降低,而数据存储容量逐级升高,直至最高存储级别的第n个存储单元的数据访问速度最低,数据存储容量最高;可选的,各存储单元可存储有存储级别不高于自身存储级别的数据;即第i个存储单元可存储存储级别等于或小于第i存储级别的数据,如第i个存储单元可存储第i存储级别的数据,也可能存储存储级别为第1至第i的数据;可选的,最高存储级别的存储单元由于数据存储容量最高,为实现海量数据的持久化存储要求,本专利技术实施例可在最高存储级别的存储单元中存储所有的数据。图1所示数据存储系统的架构应用可如图2所示,参照图2,图2中的数据存储系统分为三级存储级别结构,包括:第一存储级别的数据存储中心10,第二存储级别的key(键)-value(值)缓存存储单元21,第三存储级别的关系数据库22;其中,key-value缓存存储单元是将数据以key-value形式存于内存,输入key字符串,查询返回value的数据存储单元;即键值(key-value)缓存存储单元中以键值形式存储有第二存储级别的数据;关系数据库是采用了关系模型来组织数据的数据库,数据以关系表形式存储,输入结构化查询语句SQL,返回数据集;即关系数据库中以关系表形式存储有第三存储级别的数据;进一步,由于关系数据库的数据存储容量最高,为实现海量数据的持久化存储要求,关系数据库中可以关系表形式存储有第三存储级别的数据和第一存储级别及第二存储级别的数据,即关系数据库中可存储所有的数据。本专利技术实施例通过设置不同存储级别的存储单元,可实现不同存储级别的数据本文档来自技高网...

【技术保护点】
一种数据存储系统,其特征在于,包括:存储级别依序升高的n个存储单元;所述n个存储单元包括:第一存储级别的数据存储中心,及存储级别高于所述第一存储级别,且存储级别依序升高的n‑1个存储单元;其中,各存储单元存储有存储级别不高于自身存储级别的数据;所述数据存储中心,用于接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。

【技术特征摘要】
1.一种数据存储系统,其特征在于,包括:存储级别依序升高的n个存储单元;所述n个存储单元包括:第一存储级别的数据存储中心,及存储级别高于所述第一存储级别,且存储级别依序升高的n-1个存储单元;其中,各存储单元存储有存储级别不高于自身存储级别的数据;所述数据存储中心,用于接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。2.根据权利要求1所述的数据存储系统,其特征在于,所述数据存储中心在确定所述目标数据对应的目标存储级别时,具体用于,获取所述目标数据的访问属性信息,根据所述访问属性信息确定所述目标数据的访问频度,将所述访问频度相应的存储级别确定为目标存储级别,其中,越高的访问频度对应的存储级别越低。3.根据权利要求1-2任一项所述的数据存储系统,其特征在于,所述数据存储中心在接收客户端发送的针对目标数据的处理请求时,具体用于,接收客户端发送的针对目标数据的查询请求;所述数据存储中心在从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元时,具体用于:从所述目标存储级别对应的存储单元开始,按照存储级别依序升高的顺序,依次从不低于所述目标存储级别的存储单元中查询所述目标数据,直至确定到存储有所述目标数据的存储单元,将第一个确定到的存储有所述目标数据的存储单元,作为目标存储单元;所述数据存储中心在触发所述目标存储单元根据所述处理请求对所述目标数据进行处理时,具体用于,从所述目标存储单元中调取所述目标数据并反馈给客户端。4.根据权利要求1-2任一项所述的数据存储系统,其特征在于,所述数据存储中心在接收客户端发送的针对目标数据的处理请求时,具体用于,接收客户端发送的针对目标数据的写请求;所述数据存储中心在从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元时,具体用于,将存储级别不低于所述目标存储级别的存储单元均作为目标存储单元;所述数据存储中心在触发所述目标存储单元根据所述处理请求对所述目标数据进行处理时,具体用于,在目标存储单元中存储所述目标数据。5.根据权利要求2所述的数据存储系统,其特征在于,所述n-1个存储单元包括:第二存储级别的键值缓存存储单元,所述键值缓存存储单元以键值形式存储有第二存储级别的数据;第三存储级别的关系数据库,所述关系数据库以关系表形式存储有第三存储级别的数据,或者,所述关系数据库以关系表形式存储有第三存储级别的数据和第一存储级别及第二存储级别的数据。6.一种数据存储方法,其特征在于,所述数据存储方法包括:接收客户端发送的针对目标数据的处理请求;确定所述目标数据对应的目标存储级别;从存储级别不低于所述目标存储级别的存储单元中,寻找可处理所述处理请求的目标存储单元;触发所述目标存储单元根据所述处理请求对所述目标数据进行处理。7.根据权利要求6所述的数据存储方法,其特征在于,所述确定所述目标数据对应的目标存储级别包括:获取所述目标数据的访问属性信息,根据所述访问属性信息确定所述目标数据的访问频度,将所述访问频度相应的存储级别确定为目标存储级别,其中,越高的访问频度对...

【专利技术属性】
技术研发人员:徐之刚
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1