一种数据块分配预测方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据块分配预测方法、装置、设备及介质，涉及深度学习技术领域，包括对历史数据块日志进行数据特征提取，得到数据特征，根据数据特征确定出数据块信息表，对数据块信息表进行处理，得到数据集，从数据集中确定出训练集和验证集；利用训练集对深度学习模型进行训练，得到训练后的深度学习模型，然后利用验证集对训练后的深度学习模型进行验证优化，得到目标深度学习模型；获取数据块信息，对数据块信息进行特征构造，得到构造后的数据块信息，将构造后的数据块信息输入至目标深度学习模型，得到数据块分配预测结果。通过本申请的上述技术方案，能够在进行数据块分配确保性能时，减少固态硬盘的磨损程度，提高固态硬盘的使用寿命。盘的使用寿命。盘的使用寿命。

【技术实现步骤摘要】
一种数据块分配预测方法、装置、设备及介质


[0001]本专利技术涉及深度学习
，特别涉及一种数据块分配预测方法、装置、设备及介质。

技术介绍

[0002]随着NAND(存储设备)闪存的出现和广泛的使用，基于NAND闪存的SSD(Solid State Disk，固态硬盘)因具有更高的可靠性、更好的性能、更低的能耗等特点成为了存储领域的发展热点，由NAND特性决定，每个物理块都有擦除次数上限，超过这个上限后，物理块上的数据就会变得不可靠。当频繁擦除某些块时，会使这些块磨损程度大大增加，定义频繁被更新的数据为热数据，相对很少改变的数据为冷数据，SSD系统的真实情况是局部存储热数据的块进行的擦除操作较为频繁，其余存储冷数据的块进行的擦除操作较为稀少，这种不均衡的数据块使用最终会缩短整个SSD的有效使用寿命。磨损均衡通过阻止单个块在短时间达到擦除次数上限，使得各个块之间磨损程度保持均衡，从而延长整个SSD的寿命。所以为了最大限度的延长SSD使用寿命，磨损均衡技术是非常重要的。目前存在动态和静态两类磨损均衡数据块选择算法，前者在SSD的垃圾回收过程中综合考虑磨损程度来选择进行擦除的块，其侧重于重复使用擦除次数较少的块，后者每隔一定时间将SSD上的冷热数据进行交换，其侧重于将冷数据迁移到磨损程度较大的块。目前大多数磨损均衡数据块选择算法以块为单位，通过遍历所有块以获取擦除次数最少和最多的块，然后进行数据迁移，遍历的开销将会对读写性能有较大影响。
[0003]由上可见，如何在进行数据块分配确保性能时，减少固态硬盘的磨损程度，提高固态硬盘的使用寿命是本领域有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据块分配预测方法、装置、设备及介质，能够在进行数据块分配确保性能时，减少固态硬盘的磨损程度，提高固态硬盘的使用寿命。其具体方案如下：
[0005]第一方面，本申请公开了一种数据块分配预测方法，包括：
[0006]对历史数据块日志进行数据特征提取，以得到数据特征，根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，从所述数据集中确定出训练集和验证集；
[0007]利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，然后利用所述验证集对训练后的所述深度学习模型进行验证优化，以得到目标深度学习模型；
[0008]获取待预测的数据块信息，对所述数据块信息进行特征构造，以得到构造后的所述数据块信息，将构造后的所述数据块信息输入至所述目标深度学习模型，以得到数据块分配预测结果。
[0009]可选的，所述对历史数据块日志进行数据特征提取之前，还包括：
[0010]创建固态硬盘实验平台；
[0011]利用所述固态硬盘实验平台对具备传统磨损均衡功能的固态硬盘进行日志监控，以得到历史数据块日志。
[0012]可选的，所述根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，包括：
[0013]根据数据特征采用预设的逆向还原方法确定出固件维护的数据块信息表，从所述数据块信息表中筛选出异常数据，将所述异常数据进行清理，以得到清理后的所述数据块信息表；
[0014]按照预设的编码处理规则对清理后的所述数据块信息表进行处理，以得到数据集。
[0015]可选的，所述从所述数据集中确定出训练集和验证集，包括：
[0016]确定出所述数据集中的数据场景类型；
[0017]按照所述数据场景类型对所述数据集中的所有数据进行划分，以得到所述训练集和所述验证集。
[0018]可选的，所述利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，包括：
[0019]将所述训练集输入至预设的深度学习模型，以得到预测值，根据链式法则对所述预测值进行计算，以得到误差值，利用所述误差值对所述深度学习模型中的权重系数进行优化，以得到包含各优化权重系数的训练后的所述深度学习模型。
[0020]可选的，所述将所述训练集输入至预设的深度学习模型，以得到预测值，根据链式法则对所述预测值进行计算，以得到误差值，利用所述误差值对所述深度学习模型中的权重系数进行优化，以得到训练后的所述深度学习模型，包括：
[0021]将所述训练集输入至预设的深度学习模型，以便所述深度学习模型采用前向传播方法计算出预测值，根据链式法则并采用反向传播方法对所述预测值进行计算，以得到误差值，利用所述误差值对所述深度学习模型中的权重系数进行优化，以得到包含各优化权重系数的训练后的所述深度学习模型。
[0022]可选的，所述利用所述验证集对训练后的所述深度学习模型进行验证优化，以得到目标深度学习模型，包括：
[0023]利用所述验证集对训练后的所述深度学习模型中的各所述优化权重系数进行验证优化，以得到包含目标优化权重系数的目标深度学习模型。
[0024]第二方面，本申请公开了一种数据块分配预测装置，包括：
[0025]数据集确定模块，用于对历史数据块日志进行数据特征提取，以得到数据特征，根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，从所述数据集中确定出训练集和验证集；
[0026]目标深度学习模型确定模块，用于利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，然后利用所述验证集对训练后的所述深度学习模型进行验证优化，以得到目标深度学习模型；
[0027]数据块分配预测结果确定模块，用于获取待预测的数据块信息，对所述数据块信
息进行特征构造，以得到构造后的所述数据块信息，将构造后的所述数据块信息输入至所述目标深度学习模型，以得到数据块分配预测结果。
[0028]第三方面，本申请公开了一种电子设备，包括：
[0029]存储器，用于保存计算机程序；
[0030]处理器，用于执行所述计算机程序，以实现前述的数据块分配预测方法。
[0031]第四方面，本申请公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据块分配预测方法的步骤。
[0032]可见，本申请提供了一种数据块分配预测方法，包括对历史数据块日志进行数据特征提取，以得到数据特征，根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，从所述数据集中确定出训练集和验证集；利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，然后利用所述验证集对训练后的所述深度学习模型进行验证优化，以得到目标深度学习模型；获取待预测的数据块信息，对所述数据块信息进行特征构造，以得到构造后的所述数据块信息，将构造后的所述数据块信息输入至所述目标深度学习模型，以得到数据块分配预测结果。本申请首先进行数据集构造，并进行编码整理，划分训练集与验证集，然后用训练集训练改进的深度学习模型，用验证集验证训练好的深度学习模型，最后利用固件维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据块分配预测方法，其特征在于，包括：对历史数据块日志进行数据特征提取，以得到数据特征，根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，从所述数据集中确定出训练集和验证集；利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，然后利用所述验证集对训练后的所述深度学习模型进行验证优化，以得到目标深度学习模型；获取待预测的数据块信息，对所述数据块信息进行特征构造，以得到构造后的所述数据块信息，将构造后的所述数据块信息输入至所述目标深度学习模型，以得到数据块分配预测结果。2.根据权利要求1所述的数据块分配预测方法，其特征在于，所述对历史数据块日志进行数据特征提取之前，还包括：创建固态硬盘实验平台；利用所述固态硬盘实验平台对具备传统磨损均衡功能的固态硬盘进行日志监控，以得到历史数据块日志。3.根据权利要求1所述的数据块分配预测方法，其特征在于，所述根据数据特征确定出数据块信息表，对所述数据块信息表进行处理，以得到数据集，包括：根据数据特征采用预设的逆向还原方法确定出固件维护的数据块信息表，从所述数据块信息表中筛选出异常数据，将所述异常数据进行清理，以得到清理后的所述数据块信息表；按照预设的编码处理规则对清理后的所述数据块信息表进行处理，以得到数据集。4.根据权利要求1所述的数据块分配预测方法，其特征在于，所述从所述数据集中确定出训练集和验证集，包括：确定出所述数据集中的数据场景类型；按照所述数据场景类型对所述数据集中的所有数据进行划分，以得到所述训练集和所述验证集。5.根据权利要求1至4任一项所述的数据块分配预测方法，其特征在于，所述利用所述训练集对预设的深度学习模型进行训练，以得到训练后的所述深度学习模型，包括：将所述训练集输入至预设的深度学习模型，以得到预测值，根据链式法则对所述预测值进行计算，以得到误差值，利用所述误差值对所述深度学习模型中的权重系数进行优化，以得到包含各优化权重系数的训练后的所述深度学习模型。6.根据权...

【专利技术属性】
技术研发人员：付凤之，高美洲，刘忞斋，王陈园，杨勇军，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：