【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体地，涉及一种动态负载均衡方法及系统及装置及介质。
技术介绍
1、随着信息技术的发展，越来越多的数据被存放在网络之上，数据的爆炸增长已不可避免。所以怎样去高效且稳定的将数据存放在节点之上是现在国内外的研究热点。同时随着存储设备以及网络的更新迭代，存储系统也由传统的集中式存储向分布式存储进行了更新。分布式存储系统拥有相较于传统集中存储先天的优异性能，还可以很便捷的实现节点的扩展。但由便捷的扩展性导致存储介质的多样化引起存储节点出现错误的状况也不容忽视。
2、纠删码方案提供了一种新的容错技术，通过将源文件分块后，按照编码的规律进行计算，进而得到一定数量的冗余块。冗余块是纠删码提供容错能力的保证。当某个条带出现丢失时，可以使用相对应的冗余块来计算得到丢失的原数据。纠删码的引入可以在和副本技术提供相同的容错性能的情况下，拥有更好的存储性能，代价则是编码译码时的额外计算开销。常见的纠删码有：以rs码为代表，满足了singleton边界的mds码；以evenodd为代表的阵列码；以lrc为代表的分组码。纠删码凭借其优秀的存储性能，许多分布式存储系统，例如：hdfs，ceph等都应用了纠删码方案。不同的纠删码方案，都会有不同的优缺点，所以许多商业级的分布式存储系统都会采用多种纠删码方案混合使用的情况。采用纠删码时，纠删码方案的不同；以及数据类型本身的不同，都会导致系统中数据的访问存在不均衡性。同时用户的访问是具有一定时效性，随机性的，便导致存储系统中通常一部分数据占据了大部分的访问频率。所以存储系统中
3、当前分布式存储系统中的负载均衡手段主要有动态静态两种处理方式，静态负载均衡通常是在数据最初存储进系统时或者经历了较大改变时，通过编码手段将数据更加均匀的存储在节点上。局部修复码是静态负载均衡的一种常用手段。该方案的数据布局方法让每个数据块都拥有并行访问路径，当某个数据块过热时，可以从其他路径进行访问，从而实现负载均衡。缺点在于其无法反映数据的实时访问情况，当数据存在较大冷热差异时，系统依然会有负载不均衡问题。文献1(xia m,saxena m,blaum m,et al.atale of twoerasure codes in{hdfs}[c]//13th{usenix}conference on file and storagetechnologies({fast}15).2015:213-226.)提出了一种新的负载均衡方案，其动态的根据当前各个节点的负载情况，来选取差异化的编码方式。对冷文件采用高存储效率编码方案，对热文件采用高访问性能编码方案，从而达到提高存储效率和访问性能的目的，但缺点在于热文件虽然采用高访问性能编码方案，热文件对系统的访问需求较高，纠删码方案并不适合此类场景。文献2(zhou p,huang j,qin x,et al.pars:apopularity-awareredundancy scheme for in memory stores[j].ieee transactions on computers,2018,68(4):556-569.)提出了一种动态的热度感知方案，能够动态的感知数据块的热度，对热数据采用增加额外数据副本的方式来提高热数据块的并行访问能力，当数据存在冷热差异时能够更好的负载均衡性，但额外的副本会导致更大的存储开销。
技术实现思路
1、本专利技术的目的是在传统局部修复码的基础上增加冷热数据机制，相较于局部修复码，每个数据块拥有相同并行访问路径。根据历史时间窗口内的访问频率分布，来确定冷热数据，并根据数据的冷热不同采取不同的编码方式，从而根据编码方式的不同，通过调整冷热数据块内编码组的数据范围和并行访问路径个数来确定每个时间窗口的负载均衡能力。热数据块拥有更多的访问路径，能够更好的应对数据访问频率差异，提升负载均衡性能的同时，因为仅热数据块使用了较多的空间，其余数据块使用存储效率较高的纠删码方案，所以整体的存储效率较高。
2、为实现上述专利技术目的，本专利技术提供了一种动态负载均衡方法，所述方法包括：
3、步骤1：获得条带化信息，包括节点数n、热数据块k以及热数据块并行访问路径个数t，基于条带化信息将目标存储文件进行条带化处理，获得条带化处理后的存储节点；
4、步骤2：计算获得每个存储节点的热度值，基于存储节点的热度值对每个存储节点的类型进行划分，将每个存储节点划分为热存储节点或冷存储节点；
5、步骤3：基于存储节点类型划分结果获得存储节点的布局信息，基于存储节点的布局信息构建坐标系，使得每个存储节点对应坐标系中的一个点，这样可以建立一个带坐标的编码矩阵，每个数据块均为其中的一个坐标，方便代入后续编码算法中进行计算，坐标系中横坐标范围为[1,k]，纵坐标范围为[1,2]；
6、步骤4：针对每个热存储节点，计算热存储节点中数据块的热度值，获得每个热存储节点中热度值最高的数据块作为热数据块；
7、步骤5：对热存储节点进行编码获得热存储节点编码块，对热数据块进行编码获得热数据编码块，对冷存储节点进行编码获得冷存储节点编码块，基于热存储节点编码块的信息、热数据编码块的信息和冷存储节点编码块的信息获得编码结果信息；
8、步骤6：将编码结果信息与步骤一设置的条带化信息进行比较，基于比较结果判断编码是否准确，若编码不准确则返回步骤5重新编码，若编码准确则执行步骤7；
9、步骤7：对目标存储节点进行负载均衡，包括：判断目标存储节点的负载状态，当判断出目标存储节点处于高负载状态，则检测目标存储节点的类型，若为热存储节点，则使用目标存储节点对应的热存储节点编码块进行并行辅助访问，然后再次判断目标存储节点的负载状态，若判断出目标存储节点处于高负载状态，则使用目标存储节点中的热数据块对应的热数据编码块进行并行辅助访问；若为冷存储节点，则使用目标存储节点对应的冷存储节点编码块进行并行辅助访问。
10、其中，申请人研究发现，存储系统中的数据的访问频率存在差异，传统的负载均衡方法并不合理，本方法通过计算获得每个存储节点的热度值，根据热度值将每个存储节点划分为热存储节点或冷存储节点，这样在后续负载均衡时根据存储节点的类型进行区分处理，进一步的，申请人发现热存储节点中的数据块的访问频率也存在差异，为了进一步提高负载均衡的效果，针对每个热存储节点，计算热存储节点中数据块的热度值，获得每个热存储节点中热度值最高的数据块作为热数据块，并针对热数据块提供单独的热数据编码块进行并行辅助访问进一步提高负载均衡的效果。
11、其中，在一些实施例中，所述步骤6具体包括：
12、比较热存储节点编码块个数与第一预设本文档来自技高网...
【技术保护点】
1.一种动态负载均衡方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动态负载均衡方法，其特征在于，所述步骤6具体包括：
3.根据权利要求1所述的动态负载均衡方法，其特征在于，所述步骤2中存储节点的热度值的计算方式为：
4.根据权利要求1所述的动态负载均衡方法，其特征在于，对热存储节点进行编码获得热存储节点编码块具体包括：
5.根据权利要求1所述的动态负载均衡方法，其特征在于，对热数据块进行编码获得热数据编码块具体包括：
6.根据权利要求1所述的动态负载均衡方法，其特征在于，对冷存储节点进行编码获得冷存储节点编码块具体包括：
7.一种动态负载均衡系统，其特征在于，所述系统包括：
8.一种动态负载均衡装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述动态负载均衡方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理
...【技术特征摘要】
1.一种动态负载均衡方法，其特征在于，所述方法包括：
2.根据权利要求1所述的动态负载均衡方法，其特征在于，所述步骤6具体包括：
3.根据权利要求1所述的动态负载均衡方法，其特征在于，所述步骤2中存储节点的热度值的计算方式为：
4.根据权利要求1所述的动态负载均衡方法，其特征在于，对热存储节点进行编码获得热存储节点编码块具体包括：
5.根据权利要求1所述的动态负载均衡方法，其特征在于，对热数据块进行编码获得热数据编码块具体包括：
6.根据权利要求1所述的动态负载均衡...
【专利技术属性】
技术研发人员：唐聃，邓文杰，蔡红亮，黎聪，曾琼，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。