分布式存储调度的方法技术

本发明专利技术涉及分布式存储调度的方法，包括：a.建立评价指标：获得与m个存储节点相关的评价矩阵；b.数据标准化处理：对评价矩阵中的各数据消除量纲效应后，得到评价指标值矩阵；c.利用三角模糊数进行两两比较：得到由三角模糊数组成的判断矩阵和每个评价因素的权重向量和加权评价矩阵，以及每个评价因素的权值；d.求得正负理想值：求得正负理想值和得各存储节点到理想值的距离，对各存储节点进行排序，选出最优的存储节点。本发明专利技术的方法，能够对调度过程中的各种影响因素进行综合分析，从而选择出最优选的存储节点进行响应，极大程度提高了网络远程分布式存储的数据传输性能和存储效率，明显改善了分布式存储的存储质量。

【技术实现步骤摘要】

本专利技术涉及云存储中的分布式存储方法，具体的讲是在云存储中进行分布式存储调度的方法。
技术介绍
在分布式存储的领域中，Cinder是一种应用极为广泛的分布式存储架构，它的调度分为两个阶段，分别是filtering和weighting。当一个存储请求到来时，首先是filtering阶段将符合要求的存储节点筛选出来，在筛选中每个存储节点只有符合或不符合两种结果，符合要求则进入待weighting的队列，不符合要求则将其淘汰；之后执行weighting阶段，对符合要求的存储节点进行排序，选取最为合适的存储节点，由该存储节点为请求提供存储服务。当前filtering过程检验存储节点是否符合要求的标准是该存储节点是否有足够的存储空间能够执行该次的存储请求，如果有就将其放入队列以便之后的weighting过程使用，反之则不予考虑。之后的weighting过程基于剩余存储空间对合格存储节点进行排序，选取剩余存储空间最大的存储节点来提供服务。经过以上两步，一个发送到Cinder的请求的调度过程结束。Cinder的调度方法在分布式存储的服务质量中起着关键的作用，但是当前的Cinder调度存在以下的问题：当前以剩余存储空间为唯一调度目标的调度方法并不能保证云存储的服务质量。例如，当某个存储节点的网络拥塞较严重但其剩余的存储空间是最大的时候，Cinder并不会意识到这一点，它还是会选取该存储节点来处理存储请求。但此时由于网络拥塞的影响显然该存储节点并不是最为理想的服务节点。进一步来说，Cinder这种只考虑存储节点剩余存储空间的调度方法并没有达到调度的综合性能最优。存储节点中影响服务质量的因素除剩余空间外还包括其它多种因素，只有将影响服务质量的多种因素综合考虑进来实现多维调度才能达到最佳的调度效果。
技术实现思路
本专利技术提供了一种分布式存储调度的方法，以克服目前单目标调度不能调度到性能最佳服务节点的缺陷，使对存储节点的选择方式更加全面，提高存储效率和质量。本专利技术分布式存储调度的方法，包括步骤有：a.建立评价指标：根据调度请求，收集对调度有影响的评价因素，然后分析出各所述评价因素和调度的相关性，获得与m个存储节点相关的评价矩阵，其中m为自然数；b.数据标准化处理：对数据标准化是数据处理中常用的一种方式。本方法中是通过标准化公式对所述评价矩阵中的各数据消除量纲效应后，得到标准化之后的评价指标值矩阵；c.利用三角模糊数进行两两比较：通过三角模糊数对所述评价指标值矩阵中的各存储节点两两比较，例如对于两个存储节点m和n之间的比较可以用rmn＝(a,b,c)来表示，中值b表示重要程度，两个边界值a和c则用来表示模糊程度，当b减去a的差值越大时说明两个节点比较的模糊性越高，如果差值为0则说明该比较是非模糊的。同样的道理，表示节点n相对于节点m的重要度。然后得到由三角模糊数组成的判断矩阵和每个评价因素的权重向量，并得到加权评价矩阵，对所述权重向量做归一化处理得到每个评价因素的权值；d.求得正负理想值：在所述加权评价矩阵上求得正负理想值和得各存储节点到理想值的距离，以所述距离为标准对各存储节点进行排序，选出最优的存储节点。其中建立评价指标是进行分析的基础，影响调度的因素可以从调度请求发出到调度请求被某一存储节点处理这一全过程来进行分析。在这一过程中首先涉及到发出请求的客户端的因素，其次是传送请求的网络的因素，最后是处理请求的服务节点的因素。因此可以将所述的评价因素判断为包括有客户端因素、网络因素和服务端因素。具体来看，客户端因素包括有客户端距服务端的路由跳数，也就是客户端到存储节点的距离因素；网络因素包括有网络传输过程中的丢包率、网络是否畅通等；服务端因素包括有处理器负载、内存使用率和存储空间占用率等。因此，路由跳数、丢包率、处理器负载、内存使用率和存储空间占用率这5个主要因素共同决定了存储的质量。一种可选的方式为，步骤a中通过皮尔逊积矩相关系数分析出各所述评价因素和调度的相关性，可以得到调度相关性其中代表测试样本x的均值，同理代表y的均值，n代表样本容量，r的值介于负1到正1之间，为正值时说明具有正相关性，为负值时说明具有负相关性。进一步的，步骤b中，根据评价矩阵中的各数据的优越程度与数据值大小的对应关系，采用不同的标准化公式进行量纲效应消除处理。例如对于数据值越大优越程度越优的数据p(i,j)可以采用标准化公式：p(i,j)＝n(i,j)/[nmax(i)+nmin(i)]；对于数据值越小优越程度越优的数据p(i,j)可以采用标准化公式：p(i,j)＝[nmax(i)+nmin(i)-n(i,j)]/[nmax(i)+nmin(i)]，其中n(i,j)表示评价矩阵N中的节点，nmax(i)表示第i个评价因素的最大值，nmin(i)表示第i个评价因素的最小值。优选的，步骤d中通过加权的曼哈顿距离公式分别算出加权评价矩阵中各存储节点到正负理想值的距离。可以用表示存储节点i到正理想值的距离，用表示存储节点i到负理想值的距离。值的大小表明了存储节点i与正理想值直接的距离，该值越小则表明该存储节点越是接近正理想值；同理表明了存储节点i与负理想值之间的距离。例如当备选存储节点的计算参数设置为客户端距离服务端路由跳数、网络丢包率、CPU负载、内存使用率和剩余存储容量时，这些参数显然都是越小越好，所以这时最优节点就是离负理想值最近的存储节点。本专利技术的分布式存储调度的方法，能够对调度过程中的各种影响因素进行综合分析，从而选择出最优选的存储节点进行响应，极大程度提高了网络远程分布式存储的数据传输性能和存储效率，明显改善了分布式存储的存储质量。以下结合实施例的具体实施方式，对本专利技术的上述内容再作进一步的详细说明。但不应将此理解为本专利技术上述主题的范围仅限于以下的实例。在不脱离本专利技术上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本专利技术的范围内。附图说明图1为本专利技术分布式存储调度的方法的流程图。具体实施方式如图1所示本专利技术分布式存储调度的方法，步骤有：a.建立评价指标：根据调度请求，收集对调度有影响的评价因素。根据调度的全过程，将评价因素分为发出请求的客户端的因素、传送请求的网络的因素、处理请求的服务节点的因素。其中客户端因素包括有客户端距服务端的路由跳数，网络因素包括有网络传输过程中的丢包率和网络是否畅通，服务端因素包括有处理器负载、内存使用率和存储空间占用率。以这5个评价因素为基础，通过皮尔逊积矩相关系数分析各个影响因素和调度的相关性：其中代表测试样本x的均值，同理代表y的均值，n代表样本容量，r的值介于负1到正1之间，为正值时说明具有正相关性，为负值时说明具有负相关性。评价对象是实际存储卷的m个物理存储节点，可以表示为ki∈K，其中i∈{1,2,3,···,m本文档来自技高网...

【技术保护点】
分布式存储调度的方法，其特征包括：a.建立评价指标：根据调度请求，收集对调度有影响的评价因素，然后分析出各所述评价因素和调度的相关性，获得与m个存储节点相关的评价矩阵，其中m为自然数；b.数据标准化处理：通过标准化公式对所述评价矩阵中的各数据消除量纲效应后，得到标准化之后的评价指标值矩阵；c.利用三角模糊数进行两两比较：通过三角模糊数对所述评价指标值矩阵中的各存储节点两两比较后，得到由三角模糊数组成的判断矩阵和每个评价因素的权重向量，并得到加权评价矩阵，对所述权重向量做归一化处理得到每个评价因素的权值；d.求得正负理想值：在所述加权评价矩阵上求得正负理想值和得各存储节点到理想值的距离，以所述距离为标准对各存储节点进行排序，选出最优的存储节点。

【技术特征摘要】
1.分布式存储调度的方法，其特征包括：a.建立评价指标：根据调度请求，收集对调度有影响的评价因素，然后分析出各所述评价因素和调度的相关性，获得与m个存储节点相关的评价矩阵，其中m为自然数；b.数据标准化处理：通过标准化公式对所述评价矩阵中的各数据消除量纲效应后，得到标准化之后的评价指标值矩阵；c.利用三角模糊数进行两两比较：通过三角模糊数对所述评价指标值矩阵中的各存储节点两两比较后，得到由三角模糊数组成的判断矩阵和每个评价因素的权重向量，并得到加权评价矩阵，对所述权重向量做归一化处理得到每个评价因素的权值；d.求得正负理想值：在所述加权评价矩阵上求得正负理想值和得各存储节点到理想值的距离，以所述距离为标准对各存储节点进行排序，选出最优的存储节点。2.如权利要求1所述的分布式存储调度的方...

【专利技术属性】
技术研发人员：张栗粽，殷光强，罗光春，田玲，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51