一种云储存系统中动态接入存储设备的方法及装置制造方法及图纸

本发明专利技术公开了一种云储存系统中动态接入存储设备的方法及装置，属于计算机通信领域，该方法包括：获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；利用Resnet18网络结构对各存储设备对应的特征数据集进行迁移学习，得到神经网络模型；获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据输出结果确定本次存储设备；将待存储的数据动态接入所述本次存储设备进行云存储。本发明专利技术可以为新数据选择最优存储设备并将所述新数据动态接入该最优存储设备。

【技术实现步骤摘要】
一种云储存系统中动态接入存储设备的方法及装置
本专利技术涉及计算机通信
，特别涉及一种云储存系统中动态接入存储设备的方法及装置。
技术介绍
云存储是在云计算概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。云存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。传统的云储存系统在接入存储设备时基本都是通过人为设置来接入存储设备，比如按照不同的数据类型，数据量的大小来设置相应的存储设备，例如某用户在某某网盘云存储手机上的照片时，需要手动选择存储路径。由于用户并不清楚当前使用的云存储系统的所有存储设备特征，也不知道数据特征和存储设备特征之间如何匹配时最优的选择，因此用户为当前待存储的数据手动选择的存储设备往往不是最优的存储设备。
技术实现思路
本专利技术提供一种云储存系统中动态接入存储设备的方法及装置，用于解决现有的云存储系统在选择存储设备时需要人工选择以及选择不能最优化的问题。本专利技术提供的云储存系统中动态接入存储设备的方案，根据云存储系统中存储设备存储的数据特征和设备特征，通过机器学习算法训练出一个神经网络，通过该神经网络，可以在有新数据存储要求时，为所述新数据选择最优存储设备并将所述新数据动态接入该最优存储设备。本专利技术提供一种云储存系统中动态接入存储设备的方法，包括：获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；利用Resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；将所述待存储的数据动态接入所述本次存储设备进行云存储。在一可选实施例中，所述利用Resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型，包括：以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式计算输出向量yi：计算使预设损失函数L(ai，yi)最小的参数W1、W2、c1、c2的值；将参数W1、W2、c1、c2的值带入上述公式，得到以以下公式为代表的神经网络模型：其中，ai＝(ai1,ai2,…,aim)T为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1,1,…,n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n<m；f1、f2为中间输出，f2是一个100维的列向量；W1∈R256×256,m表示W1为(256×256)×m维矩阵，W2∈Rn,100表示W2为n×100维矩阵，c1∈R256×256,1表示c1为(256×256)维的列向量，c2∈Rn表示c2是n维列向量；x和y分别是所述神经网络模型的输入和输出；σ()这一函数的表达式为：Sigmoid()这一函数的表达式为：预设损失函数L(ai，yi)的表达式为：bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。在一可选实施例中，所述将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备，包括：将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量y；其中，y为一个n维列向量；确定所述输出向量y中值最大的元素对应行数N；将所述云存储系统中的第N个存储设备确定为本次存储设备。在一可选实施例中，在所述将待存储数据对应的特征数据集输入所述神经网络模型之前，还包括：比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；若s＝m，则执行所述将待存储数据对应的特征数据集输入所述神经网络模型的步骤；若m-k≤s≤m+k，且s≠m，则根据公式x＝Wmsx′将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的待存储数据对应的特征数据集x作为所述神经网络模型的输入，执行所述计算得到输出向量y的步骤；其中，x′为所述待存储数据对应的特征数据集，是一个s维列向量，x为m维列向量，Wms为预先设置的m×s维实矩阵，k为预设整数；当s<m-k时，将预先设置的小数据存储设备确定为本次存储设备；当s＞m-k时，将预先设置的大数据存储设备确定为本次存储设备。在一可选实施例中，在获取云存储系统中各存储设备对应的特征数据集之前，还包括：确定是否对存储设备的存储规则进行调整，其确定步骤包括：步骤A1：基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，并对所述设备日志进行拟合处理，根据拟合处理结果确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；步骤A2：基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值Z；其中，Q表示所述聚类集合中的与存储日志相关的子数据的总类数；Kq1表示第q1类子数据的子数据属性值；K表示对应所述标定处理后的存储设备的存储属性值；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；步骤A3：判断所述综合存储值Z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；若是，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；否则，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据本文档来自技高网...

【技术保护点】
1.一种云储存系统中动态接入存储设备的方法，其特征在于，包括：/n获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；/n利用Resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；/n获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；/n将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；/n将所述待存储的数据动态接入所述本次存储设备进行云存储。/n

【技术特征摘要】
1.一种云储存系统中动态接入存储设备的方法，其特征在于，包括：
获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；
利用Resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；
获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；
将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；
将所述待存储的数据动态接入所述本次存储设备进行云存储。


2.如权利要求1所述的云储存系统中动态接入存储设备的方法，其特征在于，所述利用Resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型，包括：
以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式计算输出向量yi：



计算使预设损失函数L(ai，yi)最小的参数W1、W2、c1、c2的值；
将参数W1、W2、c1、c2的值带入上述公式，得到以以下公式为代表的神经网络模型：



其中，ai＝(ai1，ai2，…，aim)T为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1，1，...，n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n＜m；f1、f2为中间输出，f2是一个100维的列向量；W1∈R256×256，m表示W1为(256×256)×m维矩阵，W2∈Rn，100表示W2为n×100维矩阵，c1∈R256×256，1表示c1为(256×256)维的列向量，c2∈Rn表示c2是n维列向量；x和y分别是所述神经网络模型的输入和输出；
σ()这一函数的表达式为：
Sigmoid()这一函数的表达式为：
预设损失函数L(ai，yi)的表达式为：bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。


3.如权利要求2所述的云储存系统中动态接入存储设备的方法，其特征在于，所述将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备，包括：
将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量y；其中，y为一个n维列向量；
确定所述输出向量y中值最大的元素对应行数N；
将所述云存储系统中的第N个存储设备确定为本次存储设备。


4.如权利要求3所述的云储存系统中动态接入存储设备的方法，其特征在于，在所述将待存储数据对应的特征数据集输入所述神经网络模型之前，还包括：
比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；
若s＝m，则执行所述将待存储数据对应的特征数据集输入所述神经网络模型的步骤；
若m-k≤s≤m+k，且s≠m，则根据公式x＝Wmsx′将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的待存储数据对应的特征数据集x作为所述神经网络模型的输入，执行所述计算得到输出向量y的步骤；其中，x′为所述待存储数据对应的特征数据集，是一个s维列向量，x为m维列向量，Wms为预先设置的m×s维实矩阵，k为预设整数；
当s＜m-k时，将预先设置的小数据存储设备确定为本次存储设备；
当s＞m-k时，将预先设置的大数据存储设备确定为本次存储设备。


5.如权利要求1所述的云储存系统中动态接入存储设备的方法，其特征在于，在获取云存储系统中各存储设备对应的特征数据集之前，包括：确定是否对存储设备的存储规则进行调整，其确定步骤包括：
步骤A1：基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，并对所述设备日志进行拟合处理，根据拟合处理结果确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；
步骤A2：基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值Z；



其中，Q表示所述聚类集合中的与存储日志相关的子数据的总类数；Kq1表示第q1类子数据的子数据属性值；K表示对应所述标定处理后的存储设备的存储属性值；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；
步骤A3：判断所述综合存储值Z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；
若是，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；
否则，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据在所述聚类集合中的数据量占比比例中，提取前N1个最大数据量占比比例，其中，N1小于Q，且N1和Q都为正整数；
步骤A4：根据如下公式，计算所述N1个最大数据量占比比例对应的子数据属性值分别与对应的所述标定处理后的存储设备的存储属性的匹配值P1；



其中，n1＝1,2,3,...,N1；Kn1表示第n1类子数据的子数据属性值；δn1表示第n1类子数据的在聚类集合中的数据量占比比例；
步骤A5：获取匹配值小于预设值的子数据，并将对应的所述子数据存储到备用设备中，同时，对对应的所述标定处理后的存储设备的当前存储规则进行调整，并按照调整后的存储规则继续存储相关的目标数据。


6.一种云储存系统中动态接入存储设备的装置，其特征在于，包括：
第一获取模块，用于获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征...

【专利技术属性】
技术研发人员：李雨来，张天石，陈震，
申请(专利权)人：北京迅达云成科技有限公司，
类型：发明
国别省市：北京;11