一种基于共识算法的HTAP数据库制造技术

技术编号:26171010 阅读:31 留言:0更新日期:2020-10-31 13:41
本发明专利技术公开了一种基于共识算法的HTAP数据库,该HTAP数据库包括行列混存的分布式存储系统和分布式SQL执行引擎;所述行列混存的分布式存储系统包括行存库和列存库,所述列存库中存储的数据是行存库所存储数据的子集;所述分布式SQL执行引擎,用于接收客户端发送的事务型请求和/或分析型请求,并在执行所述事务型请求时访问所述行存库,在执行所述分析型请求时访问所述列存库;本发明专利技术保证了事务型请求和分析型请求的隔离性,实现负载隔离,保证了数据的新鲜性和一致性,同时保证了系统的高可扩展性和高可用性。

【技术实现步骤摘要】
一种基于共识算法的HTAP数据库
本专利技术涉及数据库领域,具体涉及一种基于共识算法的HTAP数据库。
技术介绍
传统数据库无法同时应对互联网应用中大数据的高并发事务、快速分析和海量数据管理的挑战,因此它分为联机事务处理(On-LineTransactionalProcessing,简称为OLTP)系统和联机分析处理(On-LineAnalyticalProcessing,简称为OLAP)系统。OLTP系统支持高并发事务,并且保证高可用性、事务一致性以及高可扩展性;OLAP系统快速分析数据,但是所分析的并非实时数据。然而新鲜数据蕴含更高的商业价值,这就要求同时处理高并发事务以及实时分析数据,也就是支持混合事务/分析型处理(HybridTransactional/AnalyticalProcessing,简称为HTAP)。HTAP系统能够实时分析从事务处理产生的数据,并且同时具有OLTP和OLAP系统的上述优点。相关技术中的做法是通过提取-转化-加载(Extract-Transform-Load,简称为ETL)过程将OLTP和OL本文档来自技高网...

【技术保护点】
1.一种基于共识算法的HTAP数据库,其特征在于,所述HTAP数据库包括行列混存的分布式存储系统和分布式SQL执行引擎;/n所述行列混存的分布式存储系统包括行存库和列存库,所述列存库中存储的数据是行存库所存储数据的子集;/n所述分布式SQL执行引擎,用于接收客户端发送的事务型请求和/或分析型请求,并在执行所述事务型请求时访问所述行存库,在执行所述分析型请求时访问所述列存库。/n

【技术特征摘要】
1.一种基于共识算法的HTAP数据库,其特征在于,所述HTAP数据库包括行列混存的分布式存储系统和分布式SQL执行引擎;
所述行列混存的分布式存储系统包括行存库和列存库,所述列存库中存储的数据是行存库所存储数据的子集;
所述分布式SQL执行引擎,用于接收客户端发送的事务型请求和/或分析型请求,并在执行所述事务型请求时访问所述行存库,在执行所述分析型请求时访问所述列存库。


2.根据权利要求1所述的HTAP数据库,其特征在于,所述行存库包括分块和共识组,所述列存库包括分片和学习者;
所述分片和所述学习者存储列存格式的数据,所述列存格式的数据是所述共识组按照复制状态机机制对所述行存库中的数据进行异步复制后,在本地复制状态机中转换格式得到的。


3.根据权利要求2所述的HTAP数据库,其特征在于,所述共识组包括分块的至少三个副本,所述副本是采用共识算法按照复制状态机机制将分块中的数据进行多数派复制得到的,所述副本以行存格式存储数据。


4.根据权利要求2所述的HTAP数据库,其特征在于,所述列存库中的一个所述分片对应所述行存库中的一个所述分块或多个连续的所述分块;
所述列存库中的一个学习者对应所述行存库中的一个共识组或多个连续的共识组;
所述列存库中的一个分片被配置为所述列存库中的一个学习者或多个学习者。


5.根据权利要求4所述的HTAP数据库,其特征在于,所述分块是...

【专利技术属性】
技术研发人员:刘奇黄东旭崔秋方祝和
申请(专利权)人:平凯星辰北京科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1