一种固态盘缓存管理方法、系统、电子设备及存储介质技术方案

本发明专利技术提供一种固态盘缓存管理方法、系统、电子设备及存储介质，方法包括：实时监测主机端数据查询过程中的IO请求及其对应的响应数据，获取负载访问特征数据；基于上述负载访问特征数据使用预训练的优先级预测模型，预测上述响应数据的优先级；基于上述优先级和上述响应数据，对固态盘的缓存和闪存进行更新。本发明专利技术通过将优先级预测模型用于对固态盘缓存数据的优先级预测，从而改变了原有通过固定规则设定固态盘缓存数据的优先级设定方式，大大提升了固态盘缓存中的数据优先级设定的准确性，降低了缓存数据中由于优先级设定错误，导致的反复刷新的情况，实现了更高效的存储资源利用。利用。利用。

【技术实现步骤摘要】
一种固态盘缓存管理方法、系统、电子设备及存储介质


[0001]本专利技术涉及固态盘缓存管理
，更具体地，涉及一种固态盘缓存管理方法、系统、电子设备及存储介质。

技术介绍

[0002]随着电子元件技术的不断进步，计算存储的计算能力逐渐增强，机器学习和计算存储的结合，为SSD提供了新的解决方案。计算存储是在存储级别集成计算资源，可以减少数据移动，提高处理效率，减轻CPU的负担。基于机器学习的存储管理策略通过学习访问模式并预测请求，可以极大的提高传统基于统计学分析策略的准确性，进而改善固态盘的整体性能。
[0003]典型的Nvme SSD架构包含主机接口，缓存和主控，闪存芯片。主机接口内有Submission Queue(SQ)和Completion Queue(CQ)的I/O队列，主机端产生的I/O请求会绕过操作系统的I/O Stack和block layer queue,直接插入SQ队列，提交给SSD设备端调度，当请求执行完成后将执行状态返回到CQ队列。缓存和主控主要是FTL(Flash Translation Layer)，后端包括由NAND Flash组成的存储阵列。HIL负责处理由主机端发送来的请求并转换成闪存事务。闪存事务在FTL中会首先经过缓存管理单元，缓存管理单元由DRAM构成，存储访问过的页面请求，具有更低的延时。缓存连接主机端与闪存，对固态盘的响应时间和寿命有极大的影响。缓存管理中替换的数据会经过地址映射将逻辑地址转换为闪存中的物理地址，并通过闪存通道控制器写回到闪存。
[0004]然而，在传统的LRU(Least Recently Used)缓存管理方案中，由于其设定一个数据项最近被访问过，则可能会在未来被再次访问，这导致其数据优先级的预测性并不准确，因此，如何进一步提高固态盘缓存中数据优先级设定的准确性是亟待解决的问题。

技术实现思路

[0005]本专利技术针对现有技术中存在的技术问题，提供一种固态盘缓存管理方法、系统、电子设备及存储介质，用以解决如何进一步提高固态盘缓存中数据优先级设定的准确性的问题。
[0006]本专利技术的第一方面，提供了一种固态盘缓存管理方法，包括：
[0007]实时监测主机端数据查询过程中的IO请求及其对应的响应数据，获取负载访问特征数据；
[0008]基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级；
[0009]基于所述优先级和所述响应数据，对固态盘的缓存中数据优先队列进行更新。
[0010]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0011]优选的，所述负载访问特征数据包括：负载的突发情况、数据缓存命中状态、单个页面的访问次数、单个页面的请求类型、单个页面的最后访问时间、单个页面的初始请求大
小和/或单个页面的错误次数。
[0012]优选的，所述基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级的步骤，包括：
[0013]基于所述负载访问特征数据，获取所述响应数据的优先级；
[0014]在所述负载的突发情况为突发且数据缓存命中状态为未命中时，基于所述优先级替换固态盘的缓存中优先级最低的页面数据。
[0015]优选的，所述基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级的步骤，还包括：
[0016]在所述负载的突发情况为非突发且数据缓存命中状态为未命中时，基于所述单个页面的访问次数，获取所述响应数据的数据量大小对应的堆层数，获取所述固态盘中所述堆层数对应的优先级最低的缓存数据，将所述缓存数据回写至所述固态盘的闪存。
[0017]优选的，所述优先级预测模型为随机森林回归模型。
[0018]优选的，所述优先级预测模型训练的步骤包括：
[0019]获取预设时长的负载访问特征数据，对所述负载访问特征数据进行数据清洗和归一化处理，得到样本数据集；
[0020]基于自助法对所述样本数据集进行随机抽样，得到多个训练数据集；
[0021]基于所述多个训练数据集对预设的随机森林回归模型进行训练，得到所述优先级预测模型。
[0022]优选的，所述优先级预测模型的训练开启条件包括：
[0023]在所述固态盘的缓存中被替换的数据量达到数据总量的1/e且所述闪存芯片状态为空闲时，基于所述负载访问特征数据对所述优先级预测模型进行训练；
[0024]在所述数据缓存命中状态低于预设命中阈值且所述闪存芯片状态为空闲时，基于所述负载访问特征数据对所述优先级预测模型进行训练。
[0025]本专利技术的第二方面，提供一种固态盘缓存管理系统，包括：
[0026]特征收集模块，用于实时监测主机端数据查询过程中的IO请求及其对应的响应数据，获取负载访问特征数据；
[0027]模型预测模块，用于基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级；
[0028]缓存更新模块，用于基于所述优先级和所述响应数据，对固态盘的缓存和闪存进行更新。
[0029]本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一固态盘缓存管理方法的步骤。
[0030]本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一固态盘缓存管理方法的步骤。
[0031]本专利技术提供的一种固态盘缓存管理方法、系统、电子设备及存储介质，方法包括：实时监测主机端数据查询过程中的IO请求及其对应的响应数据，获取负载访问特征数据；基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级；
基于所述优先级和所述响应数据，对固态盘的缓存中数据优先队列进行更新。本专利技术通过将优先级预测模型用于对固态盘缓存数据的优先级预测，从而改变了原有通过固定规则设定固态盘缓存数据的优先级设定方式，大大提升了固态盘缓存中的数据优先级设定的准确性，降低了缓存数据中由于优先级设定错误，导致的反复刷新的情况，实现了更高效的存储资源利用。
附图说明
[0032]图1为本专利技术提供的一种固态盘缓存管理方法流程图；
[0033]图2为本专利技术提供的主机端数据访问流程的示意图；
[0034]图3为本专利技术提供的模型训练流程的示意图；
[0035]图4为本专利技术提供的固态盘缓存数据更新流程的示意图；
[0036]图5为本专利技术提供的一种固态盘缓存管理系统结构示意图；
[0037]图6为本专利技术提供的一种可能的电子设备的硬件结构示意图；
[0038]图7为本专利技术提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
[0039]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种固态盘缓存管理方法，其特征在于，所述方法包括：实时监测主机端数据查询过程中的IO请求及其对应的响应数据，获取负载访问特征数据；基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级；基于所述优先级和所述响应数据，对固态盘的缓存中数据优先队列进行更新。2.根据权利要求1所述的固态盘缓存管理方法，其特征在于，所述负载访问特征数据包括：负载的突发情况、数据缓存命中状态、单个页面的访问次数、单个页面的请求类型、单个页面的最后访问时间、单个页面的初始请求大小和/或单个页面的错误次数。3.根据权利要求2所述的固态盘缓存管理方法，其特征在于，所述基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级的步骤，包括：基于所述负载访问特征数据，获取所述响应数据的优先级；在所述负载的突发情况为突发且数据缓存命中状态为未命中时，基于所述优先级替换固态盘的缓存中优先级最低的页面数据。4.根据权利要求3所述的固态盘缓存管理方法，其特征在于，所述基于所述负载访问特征数据使用预训练的优先级预测模型，预测所述响应数据的优先级的步骤，还包括：在所述负载的突发情况为非突发且数据缓存命中状态为未命中时，基于所述单个页面的访问次数，获取所述响应数据的数据量大小对应的堆层数，获取所述固态盘中所述堆层数对应的优先级最低的缓存数据，将所述缓存数据回写至所述固态盘的闪存。5.根据权利要求1所述的固态盘缓存管理方法，其特征在于，所述优先级预测模型为随机森林回归模型。6.根据权利要求5所述的固态盘缓存管...

【专利技术属性】
技术研发人员：夏陈军，范俊，夏君扬，柴红刚，
申请(专利权)人：武汉汇迪森信息技术有限公司，
类型：发明
国别省市：