一种数据管理方法、装置和电子设备制造方法及图纸

技术编号:41788400 阅读:17 留言:0更新日期:2024-06-24 20:15
本发明专利技术实施例公开了一种数据管理方法、装置和电子设备。本发明专利技术实施例通过采用基于键值对且键值分离的方式对数据进行存储,提高了数据并发读写性能,同时避免了大量小文件可能导致的文件索引不足的问题,并降低了文件访问的开销,并且,本发明专利技术实施例通过查询缓存中的值日志的状态,并在值日志中的待清理数据达到清理阈值,删除值日志,由此,实现了堆内存优化,进一步提高了系统性能。

【技术实现步骤摘要】

本专利技术涉及计算机,更具体地,涉及一种数据管理方法、装置和电子设备


技术介绍

1、在数据服务中,若直接采用本地文件系统存储大量小文件(例如元信息文件等),可能会造成文件索引不足。并且,大量小文件的访问开销较大,数据访问性能较低。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据管理方法、装置和电子设备,以通过采用基于键值对且键值分离的方式对数据进行存储管理,提高数据并发读写性能,避免了大量小文件可能导致的文件索引不足的问题,并降低了文件访问的开销,同时实现了堆内存优化,进一步提高了系统性能。

2、第一方面,本专利技术实施例提供一种数据管理方法,所述数据基于键值对数据库进行存储和管理,所述方法包括:

3、查询缓存中的值日志的状态,所述值日志包括至少一个数据块,所述数据块包括至少一个键值对中的值;

4、响应于所述值日志中的待清理数据达到清理阈值,删除所述值日志。

5、第二方面,本专利技术实施例提供一种数据管理装置,所述数据基于键值对数据库进行存储和管理,本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,所述数据基于键值对数据库进行存储和管理,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述查询缓存中的值日志的状态包括:

3.根据权利要求1所述的方法,其特征在于,所述查询缓存中的值日志的状态包括:

4.根据权利要求3所述的方法,其特征在于,所述键值对数据库采用键值分离方式存储和管理数据,所述查询所述值日志中的数据块中的值的有效性包括:

5.根据权利要求1所述的方法,其特征在于,所述值日志对应的操作请求为写数据请求,所述数据块中的键值对为写数据请求对应的元信息;

6.根据权利要求5所...

【技术特征摘要】

1.一种数据管理方法,其特征在于,所述数据基于键值对数据库进行存储和管理,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述查询缓存中的值日志的状态包括:

3.根据权利要求1所述的方法,其特征在于,所述查询缓存中的值日志的状态包括:

4.根据权利要求3所述的方法,其特征在于,所述键值对数据库采用键值分离方式存储和管理数据,所述查询所述值日志中的数据块中的值的有效性包括:

5.根据权利要求1所述的方法,其特征在于,所述值日志对应的操作请求为写数据请求,所述数据块中的键值对为写数据请求对应的元信息;

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述数据文件由至少一个数据逻辑块组成、所述数据逻辑块由至少一个数据分片组成、所述数据分片由至少一个数据存储块组成,所述数据逻辑块和数据...

【专利技术属性】
技术研发人员:黄春华史明亚郭春威熊铭杰彭冬磊
申请(专利权)人:北京嘀嘀无限科技发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1