一种基于精简配置系统的块设备缓存装置及其方法制造方法及图纸

一种基于精简配置系统的块设备缓存装置，该缓存装置包含上层模块和底层设备，底层设备包含一缓存设备和一数据源设备，上层模块包含缓存管理模块和精简配置模块，分别实现逻辑缓存资源管理功能与物理资源管理功能，精简配置模块对外导出逻辑容量与数据源设备容量相同的一标准块设备逻辑卷，并且精简配置模块支持资源回收功能。

【技术实现步骤摘要】

该专利技术涉及信息
，特别涉及存储领域的缓存技术。
技术介绍
缓存技术是决定存储系统性能的重要因素之一，该技术通过在缓存层部署读写性能高的设备，同时利用I/o负载中普遍存在的时空局部性来降低慢速磁盘I/O对系统性能的影响。从应用形式角度出发，缓存技术有两种常见应用形式:(一)缓存子功能模块，缓存功能仅作为宿主系统中性能优化的子模块存在，这种情况下缓存功能通常是为满足宿主系统的特定需求定制的，一方面不能独立于宿主系统应用，另一方面不同系统间的缓存功能模块难以兼容，比如linux-kernel中的page cache, NFS客户端缓存，Coda客户端缓存等均属于这种应用方式；(二)独立缓存模块，将缓存功能实现为一个可独立运行的功能模块，这种方式较前一种方式有更好的通用性，比如Iinux通用块层缓存(linux-bcache, linux block layer cache)。从资源使用角度出发，上述两种形式通常都是将小容量的高性能存储设备作为缓存区，因此存在缓存区容量与数据源设备容量不对称的问题。目前解决容量不对称问题较为普遍的做法是，采用虚拟存储技术与缓存管理技术结合的方式实现缓存资源按需分配，在缓存功能模块中集成虚拟存储技术及缓存管理技术，通常情况下，虚拟存储技术实现物理资源管理及资源映射功能，即将缓存区划分为固定大小的存储单元，建立缓存资源映射表，按照实际需要将缓存单元映射给需要缓存的逻辑块，并根据缓存资源的使用情况维护缓存资源映射关系，缓存管理技术则提供缓存策略支持，维护缓存管理逻辑，监测缓存资源使用情况，根据缓存策略触发缓存回写，缓存替换等操作。比如linux-bcache将固态盘(solid state disk)作为缓存设备，将缓存设备以资源桶(bucket)为单位形成资源池,使用时将数据源设备与缓存设备关联，动态更新已用资源以及空闲资源状态。Linux-kernel中页高速缓存(page cache)将内存作为缓存区，缓存的基本单位是页(page)，其资源分配、回收由内核的内存管理模块实现，映射关系由页高速缓存维护。基于上述分析，直接将特定存储设备作为缓存设备，实现缓存功能同时需要有相应的物理资源管理功能做支持，造成缓存管理与资源管理紧耦合。精简配置技术作为虚拟存储技术的一种实现，因为其在提高资源利用率和共享存储两方面的优势在工业界广泛应用。精简配置技术依赖于写时分配，即数据写操作发生的时候才被分配。该技术通过将所有的存储空间按照固定的粒度划分为大小相同的物理存储段，并将所有物理存储段汇集到一个共享存储池中，按需分配物理存储段。精简配置存储系统对外提供虚拟逻辑卷。精简配置技术通过存储虚拟化提供了比实际物理存储容量更大的虚拟存储容量，因此可以很好的解决缓存技术中缓存设备容量与数据源设备容量不对称的问题。并且当缓存容量不足时，可能增加物理缓存设备进行扩容。然而传统的精简配置技术并不支持资源回收机制，因而无法支持缓存技术的资源回收功能。基于上述分析缓存技术在实际应用中存在以下三方面的局限:I)解决缓存设备容量与数据源设备容量不对称问题，需要在缓存功能模块中集成虚拟存储技术实现物理资源管理功能。2)传统精简配置技术作为虚拟存储技术的常用形式，可以通过其资源映射机制解决容量不对称的问题，但是其自身并不支持资源回收，因此不支持缓存回收功能。3)对物理资源管理功能的需求导致缓存功能模块中耦合资源映射机制，造成缓存管理与资源映射功能混合。本专利技术的目的在于，提出一种基于精简配置系统的块设备缓存方法，解决传统缓存技术以下三方面的局限性:(一)缓存设备容量与源设备容量不对称；(二)传统精简配置技术不支持资源回收功能；(三)缓存管理与资源管理功能混合。
技术实现思路
本专利技术的目的在于，提出，解决现有技术中存在的问题:缓存设备容量与源设备容量不对称；传统精简配置技术不支持资源回收功能；缓存管理与资源管理功能混合。为达上述目的，本专利技术提供了一种基于精简配置系统的块设备缓存装置，其特征在于，所述缓存系统包含上层模块和底层设备，所述底层设备包含一缓存设备和一数据源设备，所述上层模块包含缓存管理模块和精简配置模块，分别实现逻辑缓存资源管理功能与物理资源管理功能，所述精简配置模块对外导出逻辑容量与所述数据源设备容量相同的一标准块设备逻辑卷，并且所述精简配置模块支持资源回收功能。上述基于精简配置系统的块设备缓存装置，其特征在于:所述缓存管理模块:用于根据缓存资源管理策略维护缓存管理逻辑；所述缓存管理模块接收应用请求，发起缓存预取，缓存回写，缓存资源回收操作，实现逻辑缓存资源管理以及逻辑块缓存状态维护和管理；所述精简配置模块:该模块通过通用块层接口与所述缓存管理模块连接，外导出指定容量的虚拟逻辑卷；所述精简配置模块采用自动精简配置技术，接收所述缓存管理模块下发读写缓存请求，并为首次写实现资源写时分配、资源映射，接收所述缓存管理模块的缓存管理命令，持久化存储缓存元数据，其中，接收到缓存失效命令，实施资源回收操作并持久化存储相应的缓存元数据。上述基于精简配置系统的块设备缓存装置，其特征在于，所述缓存管理模块包括:缓存资源管理策略模块:用于提供统一的缓存策略接口，负责向缓存系统注册缓存管理策略并支持动态的缓存管理策略注册及注销，所述缓存管理策略包括:缓存预取策略，缓存回写策略和缓存替换策略；逻辑缓存资源管理模块:用于进行缓存资源监测，并更新和维护当前缓存资源使用记录；缓存管理决策模块:根据所述缓存管理策略进行缓存无效逻辑块的预取、缓存逻辑块的回写或替换决策，并返回决策结果；缓存资源管理驱动模块:根据所述缓存管理决策模块返回的决策结果，执行所述缓存预取、缓存回收或缓存回写操作，并为所述缓存预取和缓存回写构造数据迁移请求；应用请求映射模块:根据请求映射方法将应用请求重定向到目标设备，所述目标设备包含:缓存设备或者数据源设备，所述请求映射方法包括:写无效，写回和写直达；缓存元数据管理模块:负责在内存中维护逻辑块的缓存状态，并根据所述缓存资源管理驱动模块的执行结果更新相应的所述逻辑块的缓存状态，根据所述逻辑块的状态变化向所述精简配置模块发送元数据更新命令，所述缓存逻辑块的缓存状态包括:缓存干净、缓存脏和缓存无效；请求提交模块:用于提交应用请求和数据迁移请求。上述基于精简配置系统的块设备缓存装置，其特征在于，所述逻辑缓存资源管理模块还包括:缓存资源监测模块:用于监测空闲缓存资源数量和缓存脏逻辑块数量，缓存资源不足或者缓存脏逻辑块数量超过高临界值时，通知所述缓存管理决策模块进行缓存资源回收或者缓存回写决策；逻辑缓存记录模块；更新并维护当前逻辑缓存资源使用记录，其中所述逻辑缓存记录包括空闲逻辑缓存资源数量，缓存脏逻辑块数量和缓存干净逻辑块数量。上述基于精简配置系统的块设备缓存装置，其特征在于，所述缓存资源管理驱动模块还包括:数据迁移模块:用于为缓存预取和缓存回写构造数据迁移请求，所述数据迁移请求包括:数据读请求和数据写请求。上述基于精简配置系统的块设备缓存装置，其特征在于，所述请求提交模块还包括:数据迁移请求提交模块:用于将数据迁移请求提交到所述目标设备，并向所述元数据管理模块发送元数据更新命令；应用请求提交模块:用本文档来自技高网...

【技术保护点】
一种基于精简配置系统的块设备缓存装置，其特征在于，所述缓存系统包含上层模块和底层设备，所述底层设备包含一缓存设备和一数据源设备，所述上层模块包含缓存管理模块和精简配置模块，分别实现逻辑缓存资源管理功能与物理资源管理功能，所述精简配置模块对外导出逻辑容量与所述数据源设备容量相同的一标准块设备逻辑卷，并且所述精简配置模块支持资源回收功能。

【技术特征摘要】
1.一种基于精简配置系统的块设备缓存装置，其特征在于，所述缓存系统包含上层模块和底层设备，所述底层设备包含一缓存设备和一数据源设备，所述上层模块包含缓存管理模块和精简配置模块，分别实现逻辑缓存资源管理功能与物理资源管理功能，所述精简配置模块对外导出逻辑容量与所述数据源设备容量相同的一标准块设备逻辑卷，并且所述精简配置模块支持资源回收功能。2.根据权利要求1所述基于精简配置系统的块设备缓存装置，其特征在于: 所述缓存管理模块:用于根据缓存资源管理策略维护缓存管理逻辑；所述缓存管理模块接收应用请求，发起缓存预取，缓存回写，缓存资源回收操作，实现逻辑缓存资源管理以及逻辑块缓存状态维护和管理； 所述精简配置模块:该模块通过通用块层接口与所述缓存管理模块连接，对外导出指定容量的虚拟逻辑卷；所述精简配置模块采用自动精简配置技术，接收所述缓存管理模块下发读写缓存请求，并为首次写实现资源写时分配、资源映射，接收所述缓存管理模块的缓存管理命令，持久化存储缓存元数据，其中，接收到缓存失效命令，实施资源回收操作并持久化存储相应的缓存元数据。3.根据权利要求2所述基于精简配置系统的块设备缓存装置，其特征在于，所述缓存管理模块包括: 缓存资源管理策略模块:用于提供统一的缓存策略接口，负责向缓存系统注册缓存管理策略并支持动态的缓存管理策略注册及注销，所述缓存管理策略包括:缓存预取策略，缓存回写策略和缓存替换策略； 逻辑缓存资源管理模块: 于进行缓存资源监测，并更新和维护当前缓存资源使用记录; 缓存管理决策模块:根据所述缓存管理策略进行缓存无效逻辑块的预取、缓存逻辑块的回写或替换决策，并返回决策结果； 缓存资源管理驱动模块:根据所述缓存管理决策模块返回的决策结果，执行所述缓存预取、缓存回收或缓存回写操作，并为所述缓存预取和缓存回写构造数据迁移请求； 应用请求映射模块:根据请求映射方法将应用请求重定向到目标设备，所述目标设备包含:缓存设备或者数据源设备，所述请求映射方法包括:写无效，写回和写直达； 缓存元数据管理模块:负责在内存中维护逻辑块的缓存状态，并根据所述缓存资源管理驱动模块的执行结果更新相应的所述逻辑块的缓存状态，根据所述逻辑块的状态变化向所述精简配置模块发送元数据更新命令，所述缓存逻辑块的缓存状态包括:缓存干净、缓存脏和缓存无效； 请求提交模块:用于提交应用请求和数据迁移请求。4.根据权利要求3所述基于精简配置系统的块设备缓存装置，其特征在于，所述逻辑缓存资源管理模块还包括: 缓存资源监测模块:用于监测空闲缓存资源数量和缓存脏逻辑块数量，缓存资源不足或者缓存脏逻辑块数量超过高临界值时，通知所述缓存管理决策模块进行缓存资源回收或者缓存回写决策； 逻辑缓存记录模块；更新并维护当前逻辑缓存资源使用记录，其中所述逻辑缓存记录包括空闲逻辑缓存资源数量，缓存脏逻辑块数量和缓存干净逻辑块数量。5.根据权利要求3所述基于精简配置系统的块设备缓存装置，其特征在于，所述缓存资源管理驱动模块还包括: 数据迁移模块:用于为缓存预取和缓存回写构造数据迁移请求，所述数据迁移请求包括:数据读请求和数据写请求。6.根据权利要求3所述基于精简配置系统的块设备缓存装置，其特征在于，所述请求提交模块还包括: 数据迁移请求提交模块:用于将数据迁移请求提交到所述目标设备，并向所述元数据管理模块发送元数据更新命令； 应用请求提交模块:用于提交应用请求提交到所述目标设备，并向所述元数据管理模块发送元数据更新命令。7.根据权利要求2所述基于精简配置系统的块设备缓存装置，其特征在于，所述精简配置模块包括: 资源映射模块:用于维护缓存数据块与物理缓存存储资源块的映射关系； 元数据处理模块:用于更新所述缓存逻辑块的缓存状态并持久化存储所述缓存状态，向所述缓存设备提供所述缓存状态查询服务； 资源虚拟化管理模块:用于负责将所述缓存设备进行虚拟池化管理，按照需求提供存储资源； 资源分配模块:用于接收资源分配命令从可用资源池中分配存储资源； 资源回收模块:用于接收资源回收命令并执行所述资源回收操作。8.根据权利要求2所述基于精简配置系统的块设备缓存装置，其特征在于，所述通用块层接口包括: 数据接口:用于所述缓存管理模块与所述精简配置模块之间的1请求的传递； 控制命令接口:用于所述缓存管理模块与所述资精简配置模块之间的控制命令传递，所述控制命令包括:缓存状态更新命令和缓存状态查询命令。9.一种基于精简配置系统的块设备缓存方法，应用于如权利要求1-8中任一项所述基于精简配置的块设备缓存装置，其特征在于，所述缓存方法包括: 缓存管理步骤:用于进行缓存资源策略管理、缓存预取、缓存回收、缓存回写和应用请求处理； 精简配置步骤，用于进行1请求处理，缓存资源写时分配、资源回收和元数据状态管理。10.根据权利要求9所述基于精简配置系统的块设备缓存方法，其特征在于，所述缓存管理步骤包括: 缓存管理策略注册与注销步骤:用于生成并注册缓存管理策略，并可根据用户管理需求结合所述缓存管理策略的引用情况，进行所述缓存管理策略的保留或移除； 缓存预取步骤:根据所述缓存管理决策模块确定的缓存预取决策，更新待预取缓存逻辑块集合，并执行缓存预取操作； 缓存回收步骤:根据所述缓存管理决策模块确定的缓存逻辑块的回收决策，更新待回收缓存逻辑块集合，并执行缓存资源回收操作； 缓存回写步骤:根据所述缓存管理决策模块确定的缓存逻辑块的回写决策，更新待回写缓存逻辑块集合，并执行缓存回写操作； 应用读请求处理步骤:所述应用请求映射模块根据逻辑块缓存记录及应用读请求，获取所述读请求的目标设备以及所述读请求产生的元数据变化操作，并重定向所述读请求到目标设备； 应用写请求处理步骤:所述应用请求映射模块根据逻辑块缓存记录及应用写请求，获取所述写请求目标设备以及所述写请求产生的元数据变化操作，进行所述写请求与元数据更新命令绑定，重定向所述写请求到目标设备，并完成数据和元数据更新。11.根据权利要求9所述基于精简配置系统的块设备缓存方法，其特征在于，所述精简配置步骤包括: 资源分配步骤:所述精简配置模块接收资源分...

【专利技术属性】
技术研发人员：许鲁，王慧，郭明阳，董欢庆，
申请(专利权)人：中国科学院计算技术研究所，天津中科蓝鲸信息技术有限公司，
类型：发明
国别省市：北京;11