一种动态自适应调度的数据迁移方法、装置、设备和介质制造方法及图纸

技术编号:24408821 阅读:34 留言:0更新日期:2020-06-06 08:16
本发明专利技术公开了一种动态自适应调度的数据迁移方法,包括:针对影响访问效率的若干影响因子分别创建相对应的缓存队列,缓存队列配置为存储数据索引,并将存储区中的数据配置为与数据索引相互对应;为每个缓存队列分别配置一个淘汰队列,使每个淘汰队列的空间大小相等,淘汰队列配置为存储从相应的缓存队列移除的数据索引;响应于淘汰队列中的数据索引对应的数据被访问,将数据索引从淘汰队列中删除并存入对应的缓存队列,并且相应地减少其他缓存队列的权重。本发明专利技术还公开了一种装置、设备和介质。通过本发明专利技术的动态自适应调度的数据迁移方法、装置、设备和介质可以实现不同影响因子之间自适应的缓存调度。

A data migration method, device, device and medium based on dynamic adaptive scheduling

【技术实现步骤摘要】
一种动态自适应调度的数据迁移方法、装置、设备和介质
本专利技术涉及数据存储系统领域,更具体地,特别是指一种动态自适应调度的数据迁移方法、装置、设备和介质。
技术介绍
每台存储系统具有不同特征,但均无法兼容到费用、性能和容量等方面都达到用户需求,单一存储设备构成的存储系统并不适用于大规模云存储服务。解决这个问题的办法其一是将内存作为缓存,于是产生了具有内存缓存和底层存储设备的存储系统。虽然这能够提高存储系统的性能,但却面临新的问题,虽然内存的存取速度快,但因为其易失性的特性,而且其价格较为昂贵,且目前内存的大小无法达到像底层磁盘一样的大小,所以在可靠性和性价比方面都有待提高。另一种方法就是分层存储技术,一个整体的存储系统包含了多种不同性能的存储设备,通过优秀的调度算法在不同性能的存储介质之间自动迁移数据。而优秀、智能的调度算法则是分层存储的核心。基于上述问题,需要提出一种动态自适应调度策略的数据迁移方法,用于改进传统数据迁移无法同时兼顾到访问时效和访问频率等多种访问因素的问题。
技术实现思路
有鉴于此,本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种动态自适应调度的数据迁移方法,其特征在于,所述方法包括:/n针对影响访问效率的若干影响因子分别创建相对应的缓存队列,所述缓存队列配置为存储数据索引,并将存储区中的数据配置为与所述数据索引相互对应;/n为每个所述缓存队列分别配置一个淘汰队列,使每个所述淘汰队列的空间大小相等,所述淘汰队列配置为存储从相应的所述缓存队列移除的所述数据索引;/n响应于所述淘汰队列中的所述数据索引对应的所述数据被访问,将所述数据索引从所述淘汰队列中删除并存入对应的所述缓存队列,并且相应地减少其他所述缓存队列的权重。/n

【技术特征摘要】
1.一种动态自适应调度的数据迁移方法,其特征在于,所述方法包括:
针对影响访问效率的若干影响因子分别创建相对应的缓存队列,所述缓存队列配置为存储数据索引,并将存储区中的数据配置为与所述数据索引相互对应;
为每个所述缓存队列分别配置一个淘汰队列,使每个所述淘汰队列的空间大小相等,所述淘汰队列配置为存储从相应的所述缓存队列移除的所述数据索引;
响应于所述淘汰队列中的所述数据索引对应的所述数据被访问,将所述数据索引从所述淘汰队列中删除并存入对应的所述缓存队列,并且相应地减少其他所述缓存队列的权重。


2.根据权利要求1所述的动态自适应调度的数据迁移方法,其特征在于,所述方法还包括:
将策略信息存放于管理节点中,所述策略信息包括所述缓存队列以及所述淘汰队列被占用的情况以及队列长度,并通过所述管理节点对所述缓存队列以及所述淘汰队列进行实时控制。


3.根据权利要求1所述的动态自适应调度的数据迁移方法,其特征在于,所述响应于所述淘汰队列中的所述数据索引对应的所述数据被访问,将所述数据索引从所述淘汰队列中删除并存入对应的所述缓存队列,并且相应地减少其他所述缓存队列的权重还包括:
将所述数据索引从所述淘汰队列中删除并存入对应的所述缓存队列,以使所述缓存队列的空间大小增加第一值,将其他所述缓存队列中最早存入的所述数据索引移动到所述淘汰队列中以使其他所述缓存队列的总空间大小减少第二值,并保持所述第二值与所述第一值相等。


4.根据权利要求1所述的动态自适应调度的数据迁移方法,其特征在于,所述影响因子包括访问时效和访问频率,所述访问时效对应的所述缓存队列存储的数据索引是最近被访问的数据指纹,所述访问频率对应的所述缓存队列存储的数据索引是至少出现过两次的数据指纹,不同所述缓存队列中的所述数据索引不重复,所述访问时效相对于所述访问频率配置有更高的优先级。


5.根据权利要求1所述的动态自适应调度的数据迁移方法,其特征在于,所述缓存队列的总空间大小与所述存储区的空间大小相等,
所述方法还包括:响应于所述数据索引从第一缓存队列转移到第二缓存队...

【专利技术属性】
技术研发人员:张孙旻
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1