一种基于深度强化学习的分级存储数据自适应迁移方法技术

本发明专利技术属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路，结合分级存储系统的特点，定义了状态空间、动作空间、奖励值，设计实现了一种自适应数据迁移方法，数据块会根据该方法在全连接层神经网络的指导下做出迁移决策，最后由系统根据决策进行相应的数据迁移。本发明专利技术设计的自适应迁移算法提升了分级存储系统的吞吐量，并提供较低的延迟，充分利用了SSD存储设备的优势，减少了存储成本，提高了分级存储系统的数据访问性能。

【技术实现步骤摘要】
一种基于深度强化学习的分级存储数据自适应迁移方法
本专利技术属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。
技术介绍
大数据时代的到来对存储技术提出了更高的读写性能要求，同时存储设备也不断推陈出新，除了普通磁盘HDD，也出现了固态硬盘SSD、非易失性内存NVM等。HDD的读写延迟都是毫秒(ms)级别，同时功耗很大，但是数据存储的持久性比较长，存储的价格很低，约0.2元/GB；而SSD则是读写延迟是微秒(μs)级别，读写速度比较快(特别是随机读性能较高)，但是价格较高，约1元/GB；而最近几年上市的Intel傲腾系列存储905P，读写性能更高，约8元/GB；企业级别的傲腾P4800X存储，读写性能进一步提高，但是价格约20元/GB。因此，设计不同存储设备的分级混合存储，根据数据访问热度不同，实现数据在SSD和HDD之间的自动迁移，将最大化提高存储效率和性能，发挥分级存储系统的优势。关于数据迁移，可以使用传统操作系统缓存中常用的页面置换算法，如LRU(LeastRecentlyUsed)最近最少使用算法，以及LFU(Le本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习的分级存储数据自适应迁移方法，其特征在于，步骤如下：/n步骤1：结合分级存储系统的特点，定义DQN的状态空间，具体如下：/n步骤1.1：根据分级存储系统的文件块大小B、SSD存储空间大小S

【技术特征摘要】
1.一种基于深度强化学习的分级存储数据自适应迁移方法，其特征在于，步骤如下：
步骤1：结合分级存储系统的特点，定义DQN的状态空间，具体如下：
步骤1.1：根据分级存储系统的文件块大小B、SSD存储空间大小SS、HDD存储空间大小SH，计算整个系统可存储文件块的总个数为
步骤1.2：对于文件块，有的是在SSD中的文件块，有的是在HDD中的文件块，有的是存储了数据的文件块，有的是还没有被利用的文件块；用一个二进制数代表该文件块的存储状态标识，如果是在SSD中并且存储了数据的文件块，该二进制标志为1，否则为0；
步骤1.3：根据步骤1.2的标识结果，获得一个代表整个存储系统文件块存储状态的d维状态向量v，其中元素或者是1或者是0；那么状态空间即为状态向量v的多种可能结果，状态空间大小为2d；
步骤2：结合分级存储系统的特点，定义DQN的动作空间；一个动作表示为二元组(a1,a2)，a1代表将状态向量v中的第a1个元素(二进制)取反，即0变为1，1变为0；同理a2代表将状态向量v中的第a2个元素取反；如果a1＝a2，则状态向量保持不变；该过程模拟了数据迁移的过程，即将第a1和a2个文件块交换下存储位置；
步骤3：结合分级存储系统的特点，定义执行动作后DQN得到的奖励r；奖励r考...

【专利技术属性】
技术研发人员：张岩峰，付国，张一奇，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21