基于冷热数据分离和多模数据库引擎的存储方法及装置制造方法及图纸

技术编号:44499314 阅读:20 留言:0更新日期:2025-03-04 18:07
本申请属于数据库技术领域,具体公开了一种基于冷热数据分离和多模数据库引擎的存储方法及装置,该方法包括:监测行存表以及监测列存表;在行存表存在冷数据的情况下,将行存表上的冷数据转移存放到列存表;在列存表存在热数据的情况下,将列存表上的热数据转移存放到行存表;行存表用于存放热数据,列存表用于存放冷数据,一份存储数据以单拷贝方式存放于行存表或列存表,热数据的访问频率高于冷数据的访问频率,行存表通过行存引擎承载,列存表通过列存引擎承载。本申请通过行存引擎承载用于存放热数据的行存表以及通过列存引擎承载用于存放冷数据的列存表,能够实现存储系统既能支持海量数据查询和分析,又能高效进行DML操作。

【技术实现步骤摘要】

本申请属于数据库,更具体地,涉及一种基于冷热数据分离和多模数据库引擎的存储方法及装置


技术介绍

1、在传统的数据库架构中,oltp(online transactional processing,在线事务处理)型操作使用关系型数据库来实现,通过分库分表的方式应对海量设备的接入场景,olap(online analytical processing,在线分析处理)方面,基于nosql或分析型数据库完成感知数据仓库的构建,关系型数据库的数据通过etl的方式定时或者准实时同步到数据仓库。传统行存表和传统列存表分别满足的是oltp和olap两种对立的应用场景,oltp操作是高并发、短事务,以写为主,olap操作是高时延、长事务,以读为主,传统行存表在记录数达到数十亿条时查询性能大幅下降,而传统列存表的并发删除和更新的性能较低。如何实现存储系统既能支持海量数据查询和分析,又能高效进行dml操作是本领域亟待解决的技术问题。


技术实现思路

1、针对现有技术的缺陷,本申请的目的在于实现存储系统既能支持海量数据查询和分析,又本文档来自技高网...

【技术保护点】

1.一种基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,包括:

2.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测行存表,包括:

3.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测行存表,包括:

4.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测列存表,包括:

5.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,还包括:

6.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其...

【技术特征摘要】

1.一种基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,包括:

2.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测行存表,包括:

3.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测行存表,包括:

4.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,所述监测列存表,包括:

5.根据权利要求1所述基于冷热数据分离和多模数据库引擎的存储方法,其特征在于,还包括:

【专利技术属性】
技术研发人员:高波王志军许玲郑渤龙
申请(专利权)人:数翊科技北京有限公司武汉分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1