一种数据存储方法技术

技术编号:39495320 阅读:7 留言:0更新日期:2023-11-24 11:22
本发明专利技术公开了一种数据存储方法

【技术实现步骤摘要】
一种数据存储方法、装置、设备及存储介质


[0001]本专利技术涉及数据存储
,尤其涉及一种数据存储方法

装置

设备及存储介质


技术介绍

[0002]对象存储是当前存储领域常见的存储方式,其数据组织的方式是键值对的形式,通过写入键值对到存储引擎,然后通过键查询其对应的值

当涉及大规模对象存储时,利用分布式的原理把数据分散到多个节点是处理数据的有效方式,因此数据的分布方式以及随着数据的增加其自动扩展的能力是设计及实现对象存储系统必须考虑的问题

[0003]现有技术中使用哈希机制进行数据分区的系统通常采用重新计算数据到新分区的映射关系,然后依次移动数据到新分区的方式来实现分区的扩展

[0004]现有技术容易出现消耗大量系统资源迁移老数据的情况,并且随着数据的增加,这种资源消耗会急剧上升,严重影响新数据的读写流程,并且造成系统资源的严重浪费


技术实现思路

[0005]本专利技术提供了一种数据存储方法

装置

设备及存储介质,以避免传统扩展方式中的需要消耗大量资源迁移数据的情况,实现自由的以任意数量对数据存储分区进行扩展

[0006]根据本专利技术的一方面,提供了一种数据存储方法,该方法包括:
[0007]构建数据存储区域,并获取待存储数据;
[0008]根据待存储数据对数据存储区域进行扩展,以生成扩展数据存储区域;
[0009]从扩展数据存储区域中确定出目标数据存储区域,将待存储数据写入目标数据存储区域

[0010]可选的,构建数据存储区域,包括:获取用户输入的构建参数,其中,构建参数包括存储方式

分区个数

数据副本以及压缩类型;确定当前存储空间,根据构建参数对当前存储空间进行划分以生成数据存储区域

[0011]可选的,根据待存储数据对数据存储区域进行扩展,包括:确定待存储数据的数据量;判断数据量是否大于等于预设数据量阈值,若是,直接根据构建参数对当前存储空间进行二次划分,以对数据存储区域进行扩展;否则,确定数据存储区域对应的第一创建时间,根据第一创建时间对数据存储区域进行扩展

[0012]可选的,根据第一创建时间对数据存储区域进行扩展,包括:确定当前时间和第一创建时间的第一时间差,将第一时间差作为第一活跃时间;当第一活跃时间大于等于预设时间阈值时,根据构建参数对当前存储空间进行二次划分,以对数据存储区域进行扩展

[0013]可选的,从扩展数据存储区域中确定出目标数据存储区域,包括:确定各扩展数据存储区域对应的第二创建时间;确定当前时间和第二创建时间的第二时间差,将第二时间差作为第二活跃时间;将各第二活跃时间中的最小值作为目标活跃时间,并将目标活跃时间对应的数据存储区域作为目标数据存储区域

[0014]可选的,在从扩展数据存储区域中确定出目标数据存储区域之后,还包括:将目标数据存储区域的区域状态设置为活跃状态;将除目标存储区域的其他扩展数据存储区域的区域状态设置为只读状态

[0015]可选的,方法,还包括:获取数据读取指令,根据数据读取指令读取目标数据存储区域中的存储数据;判断存储数据是否为空,若是,确定各只读状态的扩展数据存储区域对应的第三活跃时间,根据第三活跃时间获取存储数据,并将存储数据展示给用户,其中,存储数据对应第三活跃时间最小的扩展数据存储区域;否则,确定数据读取完毕,将存储数据展示给用户

[0016]根据本专利技术的另一方面,提供了一种数据存储装置,该装置包括:
[0017]存储区域构建及数据获取模块,用于构建数据存储区域,并获取待存储数据;
[0018]存储区域扩展模块,用于根据待存储数据对数据存储区域进行扩展,以生成扩展数据存储区域;
[0019]数据写入模块,用于从扩展数据存储区域中确定出目标数据存储区域,将待存储数据写入目标数据存储区域

[0020]根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:
[0021]至少一个处理器;以及
[0022]与所述至少一个处理器通信连接的存储器;其中,
[0023]所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的一种数据存储方法

[0024]根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的一种数据存储方法

[0025]本专利技术实施例的技术方案,通过获取的构建参数构建数据存储区域,并通过待存储数据对数据存储区域进行扩展生成扩展数据存储区域,并且可以将待存储数据写入活跃状态的目标数据存储区域,避免了传统扩展方式中的需要消耗大量资源迁移数据的情况,同时还可以自由的以任意数量对数据存储区域进行扩展,通过动态纵向扩展的方式,无需进行任何数据移动,节省了数据迁移的成本,并且方便支持按多租户细粒度资源管控

[0026]应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围

本专利技术的其它特征将通过以下的说明书而变得容易理解

附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图

[0028]图1是根据本专利技术实施例一提供的一种数据存储方法的流程图;
[0029]图2是根据本专利技术实施例一提供的另一种数据存储方法的流程图;
[0030]图3是根据本专利技术实施例一提供的一种扩展后的数据存储区域的结构示意图;
[0031]图4是根据本专利技术实施例二提供的另一种数据存储方法的流程图;
[0032]图5是根据本专利技术实施例三提供的一种数据存储装置的结构示意图;
[0033]图6是实现本专利技术实施例的一种数据存储方法的电子设备的结构示意图

具体实施方式
[0034]为了使本
的人员更好地理解本专利技术方案,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚

完整地描述,显然,所描述的实施例仅仅是本专利技术一部分的实施例,而不是全部的实施例

基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本专利技术保护的范围

[0035]需要说明本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种数据存储方法,其特征在于,包括:构建数据存储区域,并获取待存储数据;根据所述待存储数据对所述数据存储区域进行扩展,以生成扩展数据存储区域;从所述扩展数据存储区域中确定出目标数据存储区域,将所述待存储数据写入所述目标数据存储区域
。2.
根据权利要求1所述的方法,其特征在于,所述构建数据存储区域,包括:获取用户输入的构建参数,其中,所述构建参数包括存储方式

分区个数

数据副本以及压缩类型;确定当前存储空间,根据所述构建参数对所述当前存储空间进行划分以生成所述数据存储区域
。3.
根据权利要求2所述的方法,其特征在于,所述根据所述待存储数据对所述数据存储区域进行扩展,包括:确定所述待存储数据的数据量;判断所述数据量是否大于等于预设数据量阈值,若是,直接根据所述构建参数对所述当前存储空间进行二次划分,以对所述数据存储区域进行扩展;否则,确定所述数据存储区域对应的第一创建时间,根据所述第一创建时间对所述数据存储区域进行扩展
。4.
根据权利要求3所述的方法,其特征在于,所述根据所述第一创建时间对所述数据存储区域进行扩展,包括:确定当前时间和所述第一创建时间的第一时间差,将所述第一时间差作为第一活跃时间;当所述第一活跃时间大于等于预设时间阈值时,根据所述构建参数对所述当前存储空间进行二次划分,以对所述数据存储区域进行扩展
。5.
根据权利要求1所述的方法,其特征在于,所述从所述扩展数据存储区域中确定出目标数据存储区域,包括:确定各所述扩展数据存储区域对应的第二创建时间;确定当前时间和所述第二创建时间的第二时间差,将所述第二时间差作为第二活跃时间;将各所述第二活跃时间中的最小值作为目标活跃时间,并将...

【专利技术属性】
技术研发人员:程捷
申请(专利权)人:北京博睿宏远数据科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1