云存储系统的自动重均衡方法技术方案

本发明专利技术公开了云存储系统的自动重均衡方法。该方法包括如下步骤：（a）将数据放在虚拟磁盘上；（b）将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不同数据节点上；（c）元数据服务器记录数据页上数据的受访问次数和频率；（d）云存储系统实时持续监测数据节点上每片数据页的受访频率和次数；（e）元数据服务器查找和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中的数据页调整部分至含热点数据页较少的数据节点中。本发明专利技术热点数据页经过调整后，热点数据存在的磁盘不会因为数据饱和影响磁盘的寿命，数据节点也不会崩溃，可用性高，整个存储系统的性能提高。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了。该方法包括如下步骤：（a）将数据放在虚拟磁盘上；（b）将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不同数据节点上；（c）元数据服务器记录数据页上数据的受访问次数和频率；（d）云存储系统实时持续监测数据节点上每片数据页的受访频率和次数；（e）元数据服务器查找和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中的数据页调整部分至含热点数据页较少的数据节点中。本专利技术热点数据页经过调整后，热点数据存在的磁盘不会因为数据饱和影响磁盘的寿命，数据节点也不会崩溃，可用性高，整个存储系统的性能提高。【专利说明】
本专利技术属于云计算领域，具体涉及。
技术介绍
对于私有云或者公共云来说，云存储都是云计算基础架构中重要的组成部分。一 款优秀的云存储解决方案架构能够帮助用户实现高效、合理、自动化的使用存储资源，也是 衡量云计算基础架构是否成功的一大标识。然而在当今这个信息膨胀的时代，数据的容量 和复杂度比以往任何时刻都要大。因此，面对日渐复杂的数据环境，构建一个高效性、扩展 性和灵活性的云存储解决方案就成为用户IT基础架构建设的必需。 随着数据量的不断增加，数据的安全性要求也在不断增加。数据不仅要有足够的 容量空间去存储，还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性， 还要保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。 虚拟化、云计算、大数据技术的快速发展改变了传统IT的应用模式，当用户在部 署云计算时，由于云计算数据的计算和存储都在云平台上进行，云端的数据将更为重要，除 去数据隐私和网络攻击的原因，复杂的系统结构、多用户终端的应用环境、虚拟化的应用模 式、庞大的存储设备、海量的数据备份也为云端的数据保护带来了新的挑战。 普通方案将数据存储在物理磁盘里，不同的数据节点在不同的硬盘中，然而根据 访问请求，有的数据节点经常被访问，即为热点数据，但某些数据节点根据却比较少被访 问，存放热点数据节点的硬盘经常被访问，所以就比普通的存放数据节点的硬盘更容易损 坏，寿命低。因此，普通方案有两个缺点：1、热点数据存在的磁盘寿命低，导致存放热点数据 的数据节点容易崩溃，可用性低；2、访问请求多了，对于热点数据存放的数据节点和普通数 据节点的访问速率不同，整个存储系统的性能低。
技术实现思路
针对上述现有技术的不足，本专利技术提供，解决了现 有云存储时系统性能低，磁盘寿命小的问题。 为了实现上述目的，本专利技术采用的技术方案如下： ，包括如下步骤： (a) 将数据放在虚拟磁盘上； (b) 将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不 同数据节点上； (c) 元数据服务器记录数据页上数据的受访问次数和频率； (d) 云存储系统实时持续监测数据节点上每片数据页的受访频率和次数； (e) 元数据服务器根据步骤（d)中监测数据节点上每片数据页的受访频率和次数，查找 和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中 的数据页调整部分至含热点数据页较少的数据节点中。 所述步骤（e)中，所述元数据服务器查找和判断热点数据页包括步骤： (Π )元数据服务器选择系统中可用的数据节点； (12) 判断数据节点上的数据页的受访次数和频率的状态； (13) 对数据页上的受访次数和频率进行加权，加权就是考虑到不同变量在总体中的比 例份额，判断出权重大的数据页，为热点数据页。 与现有技术相比，本专利技术具有以下有益效果： (1) 本专利技术将数据放在虚拟磁盘上，将虚拟磁盘分为多块数据块，数据块由多片数据页 构成，将数据页分散放到多个不同数据节点上，数据页上记录数据的受访问次数和频率，系 统实时持续监测数据节点上每片数据页的受访频率和次数，这样每个数据页将会被单独访 问，受访次数也容易监测和记录； (2) 本专利技术元数据服务器根据云存储系统实时持续监测数据节点上每片数据页的受访 频率和次数，查找和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页 多的数据节点中的数据页调整部分至含热点数据页较少的数据节点中。，热点数据页经过 调整后，热点数据存在的磁盘不会因为数据饱和影响磁盘的寿命，数据节点也不会崩溃，可 用性高，并且均衡了热点数据页后，整个存储系统的速率相当，性能提高； (3) 本专利技术还能防止热点数据的丢失，具有非常高的实用价值。 【具体实施方式】 下面结合实施例对本专利技术作进一步说明，本专利技术的实施方式包括但不限于下列实 施例。 实施例 ，包括步骤： (a) 将数据放在虚拟磁盘上； (b) 将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不 同数据节点上； (c) 元数据服务器记录数据页上数据的受访问次数和频率； (d) 云存储系统实时持续监测数据节点上每片数据页的受访频率和次数； (e) 元数据服务器根据步骤（d)中监测数据节点上每片数据页的受访频率和次数，查找 和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中 的数据页调整部分至含热点数据页较少的数据节点中。 所述步骤（e)中，所述元数据服务器查找和判断热点数据页包括步骤： (Π )元数据服务器选择系统中可用的数据节点； (12) 判断数据节点上的数据页的受访次数和频率的状态； (13) 对数据页上的受访次数和频率进行加权，加权就是考虑到不同变量在总体中的比 例份额，判断出权重大的数据页，为热点数据页。 通过上述步骤，使所有数据节点中的热点数据页数量相差不大实现整个系统中的 热点数据页均衡分布的目的。 通过上述设置，热点数据页经过调整后，热点数据存在的磁盘不会因为数据饱和【权利要求】1. ，其特征在于，包括如下步骤： (a) 将数据放在虚拟磁盘上； (b) 将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不 同数据节点上； (c) 元数据服务器记录数据页上数据的受访问次数和频率； (d) 云存储系统实时持续监测数据节点上每片数据页的受访频率和次数； (e) 元数据服务器根据步骤（d)中监测数据节点上每片数据页的受访频率和次数，查找 和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中 的数据页调整部分至含热点数据页较少的数据节点中。2. 根据权利要求1所述的，其特征在于，所述步骤（e) 中，所述元数据服务器查找和判断热点数据页包括步骤： (Π )元数据服务器选择系统中可用的数据节点； (12) 判断数据节点上的数据页的受访次数和频率的状态； (13) 对数据页上的受访次数和频率进行加权，判断出权重大的数据页，为热点数据页。【文档编号】G06F11/30GK104104613SQ201410388381【公开日】2014年10月15日 申请日期:2014年8月8日 优先权日:2014年8月8日 【专利技术者】黄睿 申请人:成都致云科技有限公司本文档来自技高网...

【技术保护点】
云存储系统的自动重均衡方法，其特征在于，包括如下步骤：（a）将数据放在虚拟磁盘上；（b）将虚拟磁盘分为多块数据块，数据块由多片数据页构成，将数据页分散放到多个不同数据节点上；（c）元数据服务器记录数据页上数据的受访问次数和频率；（d）云存储系统实时持续监测数据节点上每片数据页的受访频率和次数；（e）元数据服务器根据步骤（d）中监测数据节点上每片数据页的受访频率和次数，查找和判断热点数据页，并检测含热点数据页多的数据节点，将含热点数据页多的数据节点中的数据页调整部分至含热点数据页较少的数据节点中。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄睿，
申请(专利权)人：成都致云科技有限公司，
类型：发明
国别省市：四川;51