用于云存储环境的数据存储方法及装置制造方法及图纸

本发明专利技术提供了一种用于云存储环境的数据存储方法及装置，涉及云存储技术领域，该方法包括：当接收到待存储数据时，根据待存储数据、当前的多个存储节点和网络环境，确定各存储影响因素对应的数值；存储影响因素包括：待存储数据的数据量、待存储数据与存储节点之间的传输距离、存储节点的故障率、存储节点的剩余空间、存储节点的内存占用率、存储节点对应的网络带宽或存储节点对应的网络延迟；根据各存储影响因素对应的数值，确定与待存储数据匹配的最佳存储节点，以将待存储数据对应存储于最佳存储节点中。本发明专利技术能够基于多因素考虑而为待存储数据合理匹配存储节点，提供较好的数据存储方案。

Data storage method and device for cloud storage environment

The present invention provides a data storage method and device for a cloud storage environment, which involves the field of cloud storage. The method includes: when the data to be stored is received, the values corresponding to the storage influence factors are determined according to the data to be stored, the current multiple storage nodes and the network environment, and the storage influence factors include The amount of data to be stored, the transmission distance between the stored data and the storage node, the failure rate of the storage node, the remaining space of the storage node, the memory occupancy rate of the storage node, the network bandwidth corresponding to the storage node, or the network delay corresponding to the storage node, and the corresponding values according to the storage influence factors. The best storage node that matches the data to be stored is stored in the best storage node corresponding to the stored data. The invention can reasonably match the storage nodes for the data to be stored based on the consideration of many factors, and provides a better data storage scheme.

【技术实现步骤摘要】
用于云存储环境的数据存储方法及装置
本专利技术涉及云存储
，尤其是涉及一种用于云存储环境的数据存储方法及装置。
技术介绍
云存储环境下的资源调度方案，主要是提供一种优选数据存储方案，也即能够将待存储数据合理的存储于存储节点中，以期得到最小的存储耗时。传统的云存储环境下的资源调度方法主要基于存储节点的剩余空间(如Openstack的Cinder块存储)来为数据选择合适的存储节点，也即为待存储数据实现合理的存储节点调度。然而，这种仅考虑存储节点的剩余空间来进行数据存储的方式，考虑因素单一，致使最终所得的数据存储方案不佳。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种用于云存储环境的数据存储方法及装置，能够基于多因素考虑而为待存储数据合理匹配存储节点，提供较好的数据存储方案。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种用于云存储环境的数据存储方法，包括：当接收到待存储数据时，根据所述待存储数据、当前的多个存储节点和网络环境，确定各存储影响因素对应的数值；所述存储影响因素包括：待存储数据的数据量、待存储数据与存储节点之间的传输距离、存储节点的故障率、存储节点的剩余空间、存储节点的内存占用率、存储节点对应的网络带宽或存储节点对应的网络延迟；根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点，以将所述待存储数据对应存储于最佳存储节点中。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点的步骤，包括：通过三角模糊层次分析法确定各所述存储影响因素对应的权重；根据各所述存储影响因素对应的数值和权重，基于遗传算法确定与所述待存储数据匹配的最佳存储节点。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述根据各所述存储影响因素对应的数值和权重，基于遗传算法确定与所述待存储数据匹配的最佳存储节点的步骤，包括：对各所述存储影响因素对应的数值进行归一化处理；将归一化处理后的各所述存储影响因素对应的数值、各所述存储影响因素对应的权重代入至预先建立的遗传目标函数，求解获得待存储数据与最佳存储节点的对应关系。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述遗传目标函数的建立过程包括：设置待存储数据的序列为X＝{x1,x2,…,xm}，当前可用的存储节点的序列为Y＝{y1,y2,...,ym}，建立存储方案矩阵Mk如下：且Mk需满足其中，当xiyj＝1时，表示xi存储在yj中；当xiyj＝0时，表示xi未存储在yj中；基于存储方案矩阵Mk，构造以下遗传目标函数Zk：且Zk需满足其中，矩阵P为各所述存储节点对应的代价矩阵，Dj为所述待存储数据所在的数据中心根节点与第j个存储节点之间的传输距离，Sizei为归一化处理后的第i个待存储数据的数据量，Capacityj为归一化处理后的第j个存储节点的初始空间，Spacej为归一化处理后的第j个存储节点的剩余空间，Memj为归一化处理后的第j个存储节点的内存使用率，NetBj为归一化处理后的第j个存储节点对应的网络带宽，NetDj为归一化处理后的第j个存储节点对应的网络延迟，Failj为归一化处理后的第j个存储节点的故障率，w1为存储节点的故障率对应的权重，w2为存储节点的剩余空间对应的权重，w3为存储节点的内存使用率对应的权重，w4为待存储数据的传输距离对应的权重，w5为待存储数据的数据量对应的权重，w6为存储节点的网络带宽对应的权重，w7为存储节点的网络延迟对应的权重。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述求解获得待存储数据与最佳存储节点的对应关系的步骤，包括：在求解所述遗传目标函数的过程中，对Mk进行变异处理，以实现所述遗传算法中的种群进化；其中，设定Mk为所述遗传算法中的染色体；在所述种群进化的过程中，采用多次迭代的方式计算得到最优存储方案矩阵MAG；其中，每次迭代均选取适应度排名在预设范围内的优质染色体作为在下次迭代过程中进行计算的Mk，并淘汰适应度排名在预设范围外的致死染色体根据所述最优存储方案矩阵MAG，确定待存储数据与最佳存储节点的对应关系。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述变异处理的方式包括：随机从存储方案矩阵Mk中挑选对于挑选得到的在满足的基础上，如果调整为如果调整为结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述最优存储方案矩阵MAG，确定待存储数据与最佳存储节点的对应关系的步骤，包括：根据所述最优存储方案矩阵MAG中各元素的值，确定待存储数据的序列为X＝{x1,x2,…,xm}与当前可用的存储节点的序列为Y＝{y1,y2,...,ym}的存储匹配关系K＝(k1,k2,…,km)；在存储匹配关系K中，m为待存储数据的序列号，km为序列号为m的待存储数据对应的最佳存储节点的序列号。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，设定在待存储数据的序列X＝{x1,x2,…,xm}中，xi＝{si,mi,ni}，si为第i个待存储数据所需占用的存储空间,mi为第i个待存储数据所需占用的内存量，ni为第i个待存储数据所需占用的网络资源；设定在存储节点的序列为Y＝{y1,y2,...,ym}中，yi＝{Si,Mi,Ni}，Si为第i个存储节点的存储空间，Mi为第i个存储节点的内存资源，Ni为第i个存储节点的网络资源；假设第i个存储节点对应存储第a个待存储数据、第b个待存储数据和第c个待存储数据，所述存储方案矩阵Mk需满足如下约束条件：Si≥sa+sb+…scMi≥ma+mb+…mcNi≥na+nb+…nc且求解得到的存储方案矩阵Mk满足其中ti(s)为在数据存储过程中由待存储数据产生的耗时，ti(m)在数据存储过程中由存储节点产生的耗时，ti(n)为在数据存储过程中由网络环境产生的耗时。第二方面，本专利技术实施例还提供一种用于云存储环境的数据存储装置，包括：因素确定模块，用于当接收到待存储数据时，根据所述待存储数据、当前的多个存储节点和网络环境，确定各存储影响因素对应的数值；所述存储影响因素包括：待存储数据的数据量、待存储数据与存储节点之间的传输距离、存储节点的故障率、存储节点的剩余空间、存储节点的内存占用率、存储节点对应的网络带宽或存储节点对应的网络延迟；最佳节点确定模块，用于根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点，以将所述待存储数据对应存储于最佳存储节点中。第三方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的方法的步骤。本专利技术实施例提供了一种用于云存储环境的数据存储方法及装置，在接收到待存储数据时，能够根据待存储数据、当前的多个存储节点和网络环境确定各存储影响因素对应的数值，进而根据各本文档来自技高网...

【技术保护点】
1.一种用于云存储环境的数据存储方法，其特征在于，包括：当接收到待存储数据时，根据所述待存储数据、当前的多个存储节点和网络环境，确定各存储影响因素对应的数值；所述存储影响因素包括：待存储数据的数据量、待存储数据与存储节点之间的传输距离、存储节点的故障率、存储节点的剩余空间、存储节点的内存占用率、存储节点对应的网络带宽或存储节点对应的网络延迟；根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点，以将所述待存储数据对应存储于最佳存储节点中。

【技术特征摘要】
1.一种用于云存储环境的数据存储方法，其特征在于，包括：当接收到待存储数据时，根据所述待存储数据、当前的多个存储节点和网络环境，确定各存储影响因素对应的数值；所述存储影响因素包括：待存储数据的数据量、待存储数据与存储节点之间的传输距离、存储节点的故障率、存储节点的剩余空间、存储节点的内存占用率、存储节点对应的网络带宽或存储节点对应的网络延迟；根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点，以将所述待存储数据对应存储于最佳存储节点中。2.根据权利要求1所述的方法，其特征在于，所述根据各所述存储影响因素对应的数值，确定与所述待存储数据匹配的最佳存储节点的步骤，包括：通过三角模糊层次分析法确定各所述存储影响因素对应的权重；根据各所述存储影响因素对应的数值和权重，基于遗传算法确定与所述待存储数据匹配的最佳存储节点。3.根据权利要求2所述的方法，其特征在于，所述根据各所述存储影响因素对应的数值和权重，基于遗传算法确定与所述待存储数据匹配的最佳存储节点的步骤，包括：对各所述存储影响因素对应的数值进行归一化处理；将归一化处理后的各所述存储影响因素对应的数值、各所述存储影响因素对应的权重代入至预先建立的遗传目标函数，求解获得待存储数据与最佳存储节点的对应关系。4.根据权利要求3所述的方法，其特征在于，所述遗传目标函数的建立过程包括：设置待存储数据的序列为X＝{x1,x2,…,xm}，当前可用的存储节点的序列为Y＝{y1,y2,…,ym}，建立存储方案矩阵Mk如下：且Mk需满足其中，当xiyj＝1时，表示xi存储在yj中；当xiyj＝0时，表示xi未存储在yj中；基于存储方案矩阵Mk，构造以下遗传目标函数Zk：且Zk需满足其中，矩阵P为各所述存储节点对应的代价矩阵，Dj为所述待存储数据所在的数据中心根节点与第j个存储节点之间的传输距离，Sizei为归一化处理后的第i个待存储数据的数据量，Capacityj为归一化处理后的第j个存储节点的初始空间，Spacej为归一化处理后的第j个存储节点的剩余空间，Memj为归一化处理后的第j个存储节点的内存使用率，NetBj为归一化处理后的第j个存储节点对应的网络带宽，NetDj为归一化处理后的第j个存储节点对应的网络延迟，Failj为归一化处理后的第j个存储节点的故障率，w1为存储节点的故障率对应的权重，w2为存储节点的剩余空间对应的权重，w3为存储节点的内存使用率对应的权重，w4为待存储数据的传输距离对应的权重，w5为待存储数据的数据量对应的权重，w6为存储节点的网络带宽对应的权重，w7为存储节点的网络延迟对应的权重。5.根据权利要求4所述的方法，其特征在于，所述求解获得待存储数据与最佳存储节点的对应关系的步骤，包括：在求解所述遗传目标函数的过程中，对Mk进行变异处理，以实现所述...

【专利技术属性】
技术研发人员：李欣，徐建鹏，孙海春，赵晓凡，
申请(专利权)人：中国人民公安大学，
类型：发明
国别省市：北京,11