数据存储方法、装置及系统制造方法及图纸

本申请实施例提供一种数据存储方法、装置及系统。数据存储方法包括：从支持行式存储方式的存储节点中，获取待处理数据表，待处理数据表包含以行式存储方式存储的至少一条数据记录；从至少一条数据记录中，选择待转存数据记录；以列式存储方式，将待转存数据记录转存至至少一个支持列式存储方式的存储节点。本申请实施例可以实现行式存储方式和列式存储方式的结合，一方面充分利用行式存储支持高并发查询的优势，保证未转存数据的查询效率，另一方面基于列式存储便于对转存数据进行复杂查询，保证转存数据的查询效率。

【技术实现步骤摘要】
数据存储方法、装置及系统
本申请涉及互联网
，尤其涉及一种数据存储方法、装置及系统。
技术介绍
关系型数据库以记录为单位进行存储，一般用于存储事务型数据。对使用数据库的业务方来说，理想的方式是维护一张数据表，这样不影响业务逻辑，但随着时间推移和数据量的增长，数据表会越来越大，导致查询速度越来越慢，数据库的整体性能会逐步下降。现有技术采用分区表或分库分表方式解决上述问题。一种常用的分库分表方式为：以时间或者主键作为分表的依据，把数据表分成多个数据表，每个数据表存储部分数据。这样，可以保证热数据表的数据查询效率。
技术实现思路
经过分析大量业务方的诉求发现：大多数业务方经常使用的是新数据，而历史数据的使用较少，所以将大量历史数据存储到一张较大的冷数据表中，新数据存储到一张较小的热数据表中，这样可以保证热数据表的数据查询效率，缓解业务方的查询压力。但是，业务方较少使用历史数据，并不是完全不使用历史数据。当业务方需要使用历史数据时，历史数据所在数据表仍旧较大，导致历史数据的查询效率较低，无法满足业务方对历史数据的查询需求。针对上述技术问题，根据现有技术方案的启示，本申请专利技术人容易想到的本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：从支持行式存储方式的存储节点中，获取待处理数据表，所述待处理数据表包含以行式存储方式存储的至少一条数据记录；从所述至少一条数据记录中，选择待转存数据记录；以列式存储方式，将所述待转存数据记录转存至至少一个支持列式存储方式的存储节点。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：从支持行式存储方式的存储节点中，获取待处理数据表，所述待处理数据表包含以行式存储方式存储的至少一条数据记录；从所述至少一条数据记录中，选择待转存数据记录；以列式存储方式，将所述待转存数据记录转存至至少一个支持列式存储方式的存储节点。2.根据权利要求1所述的方法，其特征在于，所述待转存数据记录的转存步骤，包括：基于水平分区策略，将所述待转存数据记录划分为至少一个数据记录段；所述至少一个数据记录段与所述至少一个支持列式存储方式的存储节点一一对应；以列式存储方式，将所述至少一个数据记录段分别转存至对应的支持列式存储方式的存储节点。3.根据权利要求2所述的方法，其特征在于，所述至少一个数据记录段的转存步骤，包括：从所述待处理数据表中，导出所述至少一个数据记录段至至少一个文件中；将所述至少一个文件中的数据记录段，分别导入至对应的支持列式存储方式的存储节点；在所述至少一个支持列式存储方式的存储节点中，分别分列存储对应的数据记录段。4.根据权利要求1-3任一项所述的方法，其特征在于，在转存所述待转存数据记录的过程中，所述方法还包括：记录所述待处理数据表中针对所述待转存数据记录的更改操作，并确定所述更改操作对应的支持列式存储方式的存储节点；在成功转存所述待转存数据记录之后，所述方法还包括：对所述待处理数据表加读锁；在所述更改操作对应的支持列式存储方式的存储节点中，回放所述更改操作；解除所述待处理数据表的读锁。5.根据权利要求1-3任一项所述的方法，其特征在于，在成功转存所述待转存数据记录之后，所述方法还包括：从所述待处理数据表中删除所述待转存数据记录；设置所述至少一个支持列式存储方式的存储节点和所述待处理数据表的数据范围。6.根据权利要求1-3任一项所述的方法，其特征在于，所述支持行式存储方式的存储节点包括：行式存储节点和/或混合式存储节点；所述至少一个支持列式存储方式的存储节点包括：列式存储节点和/或...

【专利技术属性】
技术研发人员：曾春，罗哲，杜洪先，
申请(专利权)人：北京小度信息科技有限公司，
类型：发明
国别省市：北京,11