【技术实现步骤摘要】
本专利技术涉及分布式存储领域,具体涉及一种用于分布式存储的热点数据均衡方法及系统。
技术介绍
1、对于分布式存储系统,为了提高数据读取性能,需要对频繁读取的“热数据”(即热点数据)进行均衡分布,具体方式为:根据数据读写的频率,确定存储系统中哪些数据为热数据,然后根据热数据均衡策略,将热数据均衡的分发到各个缓存节点上。
2、但是,上述方式需要频繁的迁移(拷贝传输)热数据(例如1个节点上的热数据过多,则将部分热数据迁移至其他节点),而对不间断读写业务的存储系统来说,节点间数据大量迁移,会造成额外资源消耗(比如网络带宽、cpu、内存等),还会造成业务的写性能受到影响。
技术实现思路
1、针对现有技术中存在的缺陷,本专利技术解决的技术问题为:在分布式存储数据时,如何在不通过数据迁移,且不影响数据的读写性能、或者对数据的读写性能影响较小的基础上,读取数据,进而避免额外资源消耗,提高数据的读取性能。
2、为达到以上目的,第一方面,本申请实施例提供一种用于分布式存储的热点数据均衡
...【技术保护点】
1.一种用于分布式存储的热点数据均衡方法,其特征在于,该方法包括以下步骤:通过数据块block存放数据,每个block包括至少一份副本,每个block及其副本分别存放于不同的存储节点,每个block将任意一个存储节点指定为读取节点,定义每个存储节点被指定为读取节点的次数为读取节点指定次数;当block的数据为热数据时,将该block的读取节点变更为读取节点指定次数最少的存储节点。
2.如权利要求1所述的用于分布式存储的热点数据均衡方法,其特征在于:所述每个block及其副本分别存放于不同的存储节点的流程包括:将block及其副本均作为被存储对象,依次将可用
...【技术特征摘要】
1.一种用于分布式存储的热点数据均衡方法,其特征在于,该方法包括以下步骤:通过数据块block存放数据,每个block包括至少一份副本,每个block及其副本分别存放于不同的存储节点,每个block将任意一个存储节点指定为读取节点,定义每个存储节点被指定为读取节点的次数为读取节点指定次数;当block的数据为热数据时,将该block的读取节点变更为读取节点指定次数最少的存储节点。
2.如权利要求1所述的用于分布式存储的热点数据均衡方法,其特征在于:所述每个block及其副本分别存放于不同的存储节点的流程包括:将block及其副本均作为被存储对象,依次将可用空间最大的物理节点,作为当前被存储对象的存储节点;为每个存储对象的存储节点标记写入节点信息,该信息包括用于写入数据的主节点、以及用于备份主节点数据的从节点;存放数据时,存入对应block的主节点上、并将主节点的数据被备份至每个从节点。
3.如权利要求2所述的用于分布式存储的热点数据均衡方法,其特征在于:每个block的副本数量为1~3份。
4.如权利要求1所述的用于分布式存储的热点数据均衡方法,其特征在于:当block的数据为热数据时,在变更读取节点后,还包括以下步骤:将读取节点的数据迁移至高速存储硬盘中。
5.如...
【专利技术属性】
技术研发人员:韦云波,
申请(专利权)人:中电云计算技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。