【技术实现步骤摘要】
本专利技术涉及分布式存储领域，具体涉及一种用于分布式存储的热点数据均衡方法及系统。
技术介绍
1、对于分布式存储系统，为了提高数据读取性能，需要对频繁读取的“热数据”(即热点数据)进行均衡分布，具体方式为：根据数据读写的频率，确定存储系统中哪些数据为热数据，然后根据热数据均衡策略，将热数据均衡的分发到各个缓存节点上。
2、但是，上述方式需要频繁的迁移(拷贝传输)热数据(例如1个节点上的热数据过多，则将部分热数据迁移至其他节点)，而对不间断读写业务的存储系统来说，节点间数据大量迁移，会造成额外资源消耗(比如网络带宽、cpu、内存等)，还会造成业务的写性能受到影响。
技术实现思路
1、针对现有技术中存在的缺陷，本专利技术解决的技术问题为：在分布式存储数据时，如何在不通过数据迁移，且不影响数据的读写性能、或者对数据的读写性能影响较小的基础上，读取数据，进而避免额外资源消耗，提高数据的读取性能。
2、为达到以上目的，第一方面，本申请实施例提供一种用于分布式存储的热点数据均衡方法，包括以下步骤：通过数据块block存放数据，每个block包括至少一份副本，每个block及其副本分别存放于不同的存储节点，每个block将任意一个存储节点指定为读取节点，定义每个存储节点被指定为读取节点的次数为读取节点指定次数；当block的数据为热数据时，将该block的读取节点变更为读取节点指定次数最少的存储节点。
3、结合第一方面，在一种实施方式中，所述每个block及其
4、结合第一方面，在一种实施方式中，每个block的副本数量为1～3份。
5、结合第一方面，在一种实施方式中，当block的数据为热数据时，在变更读取节点后，还包括以下步骤：将读取节点的数据迁移至高速存储硬盘中。
6、结合第一方面，在一种实施方式中，所述block的形成流程包括：创建逻辑存储空间数据池pool，将pool切分为若干指定大小的block，每个block的大小为4～128m。
7、结合第一方面，在一种实施方式中，判定block的数据为热数据的方式为：当1个存储节点的数据的读取次数达到指定阈值时，判定该存储节点对应的block的数据为热数据。
8、结合第一方面，在一种实施方式中，该方法还包括以下步骤：需要读取数据时，确定与需要读取的数据对应的所有block，将每个block的数据读取后进行拼接，形成读取数据。
9、第二方面，本申请实施例提供了一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面提到的方法。
10、第三方面，本申请实施例提供了一种分布式存储系统，该系统包括第二方面提到的电子设备、用于存储所述block及其副本的低速存储硬盘、以及用于存储热数据的高速存储硬盘。
11、第四方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提到的方法。
12、与现有技术相比，本专利技术的优点在于：
13、本专利技术在通过block写入数据，每个block包括至少一份存放于不同节点的副本；在读取数据时，正常情况可以从block或其副本所在的节点上读取；当1个block的数据被判定为热数据，代表该block的数据需要频繁读取，此时本专利技术在前述基础上，指定该block读取节点指定次数最少的存储节点作为读取节点，即可在无需现有技术中进行数据迁移的基础上，实现热数据的均衡分布读取，进而不仅避免了因数据迁移导致的额外资源消耗，保证了数据的读写性能，而且操作方便，提高了工作效率，即提高了数据的读取性能。
本文档来自技高网...【技术保护点】
1.一种用于分布式存储的热点数据均衡方法，其特征在于，该方法包括以下步骤：通过数据块block存放数据，每个block包括至少一份副本，每个block及其副本分别存放于不同的存储节点，每个block将任意一个存储节点指定为读取节点，定义每个存储节点被指定为读取节点的次数为读取节点指定次数；当block的数据为热数据时，将该block的读取节点变更为读取节点指定次数最少的存储节点。
2.如权利要求1所述的用于分布式存储的热点数据均衡方法，其特征在于：所述每个block及其副本分别存放于不同的存储节点的流程包括：将block及其副本均作为被存储对象，依次将可用空间最大的物理节点，作为当前被存储对象的存储节点；为每个存储对象的存储节点标记写入节点信息，该信息包括用于写入数据的主节点、以及用于备份主节点数据的从节点；存放数据时，存入对应block的主节点上、并将主节点的数据被备份至每个从节点。
3.如权利要求2所述的用于分布式存储的热点数据均衡方法，其特征在于：每个block的副本数量为1～3份。
4.如权利要求1所述的用于分布式存储的热点数据均衡方法
5.如权利要求1至4任一项所述的用于分布式存储的热点数据均衡方法，其特征在于，所述block的形成流程包括：创建逻辑存储空间数据池pool，将pool切分为若干指定大小的block，每个block的大小为4～128M。
6.如权利要求1至4任一项所述的用于分布式存储的热点数据均衡方法，其特征在于，判定block的数据为热数据的方式为：当1个存储节点的数据的读取次数达到指定阈值时，判定该存储节点对应的block的数据为热数据。
7.如权利要求1至4任一项所述的用于分布式存储的热点数据均衡方法，其特征在于，该方法还包括以下步骤：需要读取数据时，确定与需要读取的数据对应的所有block，将每个block的数据读取后进行拼接，形成读取数据。
8.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：处理器执行计算机程序时实现权利要求1至7任一项所述的方法。
9.一种分布式存储系统，其特征在于：该系统包括权利要求8所述的电子设备、用于存储所述block及其副本的低速存储硬盘、以及用于存储热数据的高速存储硬盘。
10.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种用于分布式存储的热点数据均衡方法，其特征在于，该方法包括以下步骤：通过数据块block存放数据，每个block包括至少一份副本，每个block及其副本分别存放于不同的存储节点，每个block将任意一个存储节点指定为读取节点，定义每个存储节点被指定为读取节点的次数为读取节点指定次数；当block的数据为热数据时，将该block的读取节点变更为读取节点指定次数最少的存储节点。
2.如权利要求1所述的用于分布式存储的热点数据均衡方法，其特征在于：所述每个block及其副本分别存放于不同的存储节点的流程包括：将block及其副本均作为被存储对象，依次将可用空间最大的物理节点，作为当前被存储对象的存储节点；为每个存储对象的存储节点标记写入节点信息，该信息包括用于写入数据的主节点、以及用于备份主节点数据的从节点；存放数据时，存入对应block的主节点上、并将主节点的数据被备份至每个从节点。
3.如权利要求2所述的用于分布式存储的热点数据均衡方法，其特征在于：每个block的副本数量为1～3份。
4.如权利要求1所述的用于分布式存储的热点数据均衡方法，其特征在于：当block的数据为热数据时，在变更读取节点后，还包括以下步骤：将读取节点的数据迁移至高速存储硬盘中。
5.如...
【专利技术属性】
技术研发人员：韦云波，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。