一种数据存储方法及装置制造方法及图纸

本申请实施例提供了一种数据存储方法，将数据通过交互节点发送至集群，其中，所述交互节点至少包含两个，所述集群包含与所述交互节点对应且数量相等的分片；根据所述交互节点的分布和所述分片的分布，分节点地进行数据存储，以及一种基于所述数据存储方法的数据存储设备，解决了目前基于现有技术方案的数据存储装置，在用户高并发存储和访问情况下，容易出超负载的情况，从而导致机器发热量大，出现宕机以及存在在全局数据检索中数据一致性差、不能保存大量历史数据的技术问题。

【技术实现步骤摘要】
一种数据存储方法及装置
本申请实施例涉及大数据以及分布式存储等
，尤其涉及一种数据存储方法及装置。
技术介绍
随着互联网应用的广泛普及，海量数据的高并发存储和访问成为了应用的瓶颈。一个大型应用每天产生有上亿数据量，用户高并发对数据的读写对系统稳定性造成了极大的问题。为了提高读写效率，目前采用的技术方法包括：1)对经常需要作为查询的业务表进行分库，分表。2)对数据进行多从过滤，或者删除历史数据只保留热点数据。在现有的技术方案中，虽然有的方案能提升对数据库的读写效率，但是数据库系统和应用也需要承受很大的代价，说明如下：1)对数据库进行分区和分表之后，如果需要在全局的数据中进行检索，仍然要面临数据一致性的问题，如：跨节点Join的问题；跨节点合并排序分页问题；多数据源管理问题。2)无法保存大量历史数据，失去挖掘数据的价值。以上基于现有技术方案的数据存储装置，在用户高并发存储和访问情况下，容易出超负载的情况，从而导致机器发热量大，出现宕机以及存在在全局数据检索中数据一致性差、不能保存大量历史数据的技本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n将数据通过交互节点发送至集群，其中，所述交互节点至少包含两个，所述集群包含与所述交互节点对应且数量相等的分片；/n根据所述交互节点的分布和所述分片的分布，分节点地进行数据存储。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
将数据通过交互节点发送至集群，其中，所述交互节点至少包含两个，所述集群包含与所述交互节点对应且数量相等的分片；
根据所述交互节点的分布和所述分片的分布，分节点地进行数据存储。


2.根据权利要求1所述的数据存储方法，其特征在于，所述交互节点为路由节点。


3.根据权利要求1所述的数据存储方法，其特征在于，所述分片包含一个主节点、至少一个从节点、一个选举节点；数据通过所述交互节点发送至所述分片后；
由所述主节点进行数据写入；
由所述从节点对所述主节点写入的数据进行同步，并负责数据查询；当存在两个或两个以上所述从节点时，为减轻主节点的io压力，将多于一个的其他从节点设置为延时同步所述主节点写入的数据；
由所述选择节点，对所述主节点状态进行判断，当所述主节点宕机时，唤起一个所述从节点作为新的节点。


4.根据权利要求1所述的数据存储方法，其特征在于，还包括：
通过若干管理节点对集群元数据进行节点化管理，所述管理节点至少包含一个；以及，
通过所述管理节点记录每个节点以及每个节点之间相互关系、数据库、表的信息，对数据在分片之间迁移的历史记录进行保存。


5.根据权利要求4所述的数据存储方法，其特征在于，所述节点化管理具体包括：
数据通过所述交互节点发送至所述分片前，通过所述管理节点将数据分发至不同的分片；
当所述分片发生改变时，通过所述管理节点，改变所述交互节点分发目标分片。


6.根据权利要求4所述的数据存储方法，其特征在于，通过字段设定片键策略对所述分片历史记录进行判断。


7.根据权利要求1-6任一所述的数据存储方法，其特征在于，所述数据存储方法基于NoSQL数据库。


8...

【专利技术属性】
技术研发人员：夏亮，许俊滔，黄仝宇，汪刚，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东;44