一种虚拟存储系统和方法技术方案

本发明专利技术公开了一种分层的虚拟存储系统和方法，所述系统包括数据逻辑模块、资源分配／映射模块、资源构造／映射模块以及负载平衡模块，限定用户数据和存储数据之间的逻辑语义关系，维护虚拟设备地址到资源池地址的映射，将物理磁盘组织成具有不同属性的虚拟资源形式，提供存储资源，在系统运行过程中检测物理磁盘的负载情况，实时进行调整，通过应用本发明专利技术，便于扩展的数据逻辑语义可以使存储系统迅速满足新的应用模式，用户只需简单的给出虚拟磁盘所需要的性能、可靠性和空间需求，无需管理磁盘空间的划分、空间的扩展、资源的映射。

【技术实现步骤摘要】

本专利技术涉及信息存储
，更具体地，本专利技术涉及一种虚拟存 储系统和方法。
技术介绍
随着虚拟存储技术的不断发展，网络存储系统主要通过虚拟存储技 术向外部提供易管理、高可用、高性能的数据服务。传统的虚拟存储是 将存储设备中的多个物理磁盘组织成多个虛拟磁盘提供给用户使用，每 个虚拟磁盘可以包含多个物理磁盘的部分或全部存储空间，并可以定义成不同的类型，如RAIDO，RAID0+1等。而且用户可以定义虚拟磁盘的容 量和类型，并可以如使用物理磁盘一样使用虚拟磁盘，不需要关心磁盘 具体的物理存储结构，使得可以方便的扩展虚拟磁盘的容量。但是，传统的虚拟存储结构只是将虛拟磁盘存储空间与物理存储空间--对应，物理存储空间的分配和配置在虚拟磁盘定义时完成，不可避免地存在以下问题数据的管理和空间资源的管理混为 一体，多种数据语义导致不同的 虚拟存储结构，需要为每种虚拟存储语义设计专用的虚拟存储结构，这 些存储结构之间很难相互通用，导致了系统复杂性的提升，增加了系统开发、维护和管理的成本和难度；虚拟磁盘的使用率不均衡，导致存储空间的利用率低下，物理资源 在虛拟磁盘4皮创建时就进行分配，虚拟磁盘4艮少能完全4吏用这些物理资 源，当系统没有可用物理资源时，无法创建新的虚拟磁盘，而空闲的物 理资源没有被有效的利用；一类资源使用完后，需要人为构造并添加该类型的资源，同时，构 造一类资源需要占用大量的物理磁盘，不同类型的资源之间难以互换， 经常会有一类资源剩余，而无法分配另一类资源的情况，存储空间配置 的效率和灵活性都4艮低；盘，当其负载过重时，无法把负载转移到其他低负载的物理磁盘，存储 设备内部会存在负载平衡问题。
技术实现思路
为克服现有存储系统的对应用的扩展性差、存储资源使用效率低下 以及物理存储资源的负载不平衡等缺陷，本专利技术提出了一种虚拟存储系 统和方法。根据本专利技术的一个方面，提供一种虚拟存储系统，包括数据逻辑 模块、资源分配/映射模块和资源构造/映射模块；其中，所述数据逻辑模块用于定义用户数据和存储数据之间的逻辑 语义关系，对数据的逻辑语义和数据的存储语义进行转换；其中，所述资源分配/映射模块接收所述数据逻辑模块的存储数据的读写请求，管理多个不同属性的存储资源池，维护虚拟设备地址到资源 池地址的映射，创建从逻辑块到资源块的映射关系，并将所述创建的映射关系发送给资源构造/映射模块；其中，所述资源构造/映射模块管理物理磁盘，将物理磁盘组织成具 有不同属性的虚拟资源形式，才艮据所述映射关系查找资源池，向所述资 源分配/映射模块提供存储资源。其中，所述系统进一步包括负载平衡模块，所述负栽平衡模块负 责在系统运行过程中检测物理磁盘的负载情况，进行数据迁移和资源的 重映射，或者使资源构造/映射模块在以后的构造过程中，优先选择负栽 小的物理磁盘的段。其中，所述用户数据为对用户可见的数据，所述存储数据为存储在 物理介质上的数据。其中，所述数据逻辑模块包括数据运算部件，所述数据运算部件 根据运算语义规则对输入输出请求的用户数据和来自所述资源分配/映 射模块的存储数据进行互相转换。其中，所述数据逻辑模块包括数据映射部件，所述数据映射部件 建立用户数据与若干存储数据操作序列的映射，与所述资源分配/映射模 块交互。其中，所述数据逻辑模块包括数据运算部件，所述数据运算部件 根据运算语义规则对输入输出请求的用户数据和来自所述资源分配/映 射模块的存储数据进行互相转换；数据映射部件，所述数据映射部件建立用户数据与若干存储数据操作序列的映射，与所述资源分配/映射模块交互；所述数据运算部件和所述数据映射部件连接，对输入的数据流，将 数据运算部件的输出作为数据映射部件的输入；对输出的数据流，将数 据映射部件的输出作为数据运算部件的输入。其中，所述资源构造/映射模块监控资源池空间变化，适时选择物理 磁盘段，加入资源池。其中，所述资源构造/映射模块根据资源的类型和物理磁盘的状态， 选择适合的物理>^盘段，构造成所述类型的资源，加入到资源池；其中， 所述物理磁盘的状态包括物理磁盘空闲空间的大小和所述资源每秒到达 的请求个数。其中，所述负载平衡模块选择负载小的物理磁盘的空闲段，将负载 大的物理磁盘的最频繁访问段的数据迁移到所述空闲段，修改所述物理 磁盘的段的资源池映射表。根据本专利技术的另一方面，提供一种虚拟存储方法，包括步骤IO)、定义用户数据和存储数据之间的逻辑语义关系，将数据请 求的逻辑语义转换为数据请求的存储语义；步骤20)、根据虛拟地址到资源池地址的映射表，对转换为存储语义 的数据请求进行地址转换，维护虚拟i殳备地址到资源池地址的映射，创 建从逻辑块到资源块的映射关系；步骤30)、根据资源池地址到物理磁盘地址的映射表，对接收到的数 据请求进行地址转换，将物理磁盘组织成具有不同属性的虚拟资源形式， 提供存储资源。其中，所述方法进一步包括步骤40)、在系统运行过程中检测物理磁盘的负载情况，进行数据迁 移和资源的重映射，或者使资源构造/映射模块在以后的构造过程中，优 先选择负载小的物理磁盘的段。其中，步骤30)进一步包括才艮据资源的类型和物理磁盘的状态， 选^ii合的物理磁盘段，构造成所述类型的资源，加入到资源池；其中， 所述物理磁盘的状态包括物理磁盘空闲空间的大小和所述资源每秒到达 的请求个数。其中，步骤40)进一步包括选择负载小的物理磁盘的空闲段，将 负载大的磁盘的最频^问段的数据迁移到所述空闲段，修改所述物理 磁盘的段所在的资源池映射表。通过应用本专利技术，便于扩展的数据逻辑语义可以使存储系统迅速满 足新的应用模式，用户只需筒单的给出虚拟磁盘所需要的性能、可靠性 和空间需求，无需管理磁盘空间的划分、空间的扩展、资源的映射；不 同属性的虚拟资源池对用户完全透明；并且本专利技术具有很好的可扩展性 和管理性，减少二次开发成本和管理成本，同时大大提高存储系统的使 用效果。附图说明图1是分层虛拟存储系统结构示意图2是分层虚拟存储系统数据流向关系示意图。具体实施例方式下面结合附图和具体实施例，对本专利技术提供的 一种虛拟存储系统和 方法作进一步说明。图1示出根据本专利技术的实施例的一种虚拟存储系统的结构，在本实 施例中，虚拟存储系统包括数据逻辑模块、资源分配/映射模块、资源构 造/映射模块和负载平衡模块，用户请求通过标准块设备接口接入分层的 虛拟存储系统的数据逻辑模块。数据逻辑模块，用于定义用户数据和存储数据之间的逻辑语义关系， 例如快照语义、版本依赖语义、多副本语义、 一致性语义、加密语义、 压缩语义以及其他多种运算语义。本实施例中所称的用户数据为对用户 可见的数据，存储数据为存储在物理介质上的数据。数据逻辑模块的输入为上层应用对用户数据的输入输出(1/0)请求，输出为一个或多个对存储数据的输入输出序列，数据逻辑模块分为数据运算部件和数据映射 部件。数据运算部件根据运算语义规则对I/O请求的用户数据和存储介质上的存储数据进行互相转换。运算语义规则由管理员在创建虛拟设备时根据设备的功能设定。例如在加密设备中，运算规则设定为AES加密算 法，数据运算部件接收到写请求时，将用户数据通过AES加密算法计算， 得到存储数据，发送给资源分配/映射模块；数据运算部件在接收到读请本文档来自技高网...

【技术保护点】
一种虚拟存储系统，包括：数据逻辑模块、资源分配／映射模块和资源构造／映射模块；其中，所述数据逻辑模块用于定义用户数据和存储数据之间的逻辑语义关系，对数据的逻辑语义和数据的存储语义进行转换；其中，所述资源分配／映射模块接收所述数据逻辑模块的存储数据的读写请求，管理多个不同属性的存储资源池，维护虚拟设备地址到资源池地址的映射，创建从逻辑块到资源块的映射关系，并将所述创建的映射关系发送给资源构造／映射模块；其中，所述资源构造／映射模块管理物理磁盘，将物理磁盘组织成具有不同属性的虚拟资源形式，根据所述映射关系查找资源池，向所述资源分配／映射模块提供存储资源。

【技术特征摘要】
1、一种虚拟存储系统，包括数据逻辑模块、资源分配/映射模块和资源构造/映射模块；其中，所述数据逻辑模块用于定义用户数据和存储数据之间的逻辑语义关系，对数据的逻辑语义和数据的存储语义进行转换；其中，所述资源分配/映射模块接收所述数据逻辑模块的存储数据的读写请求，管理多个不同属性的存储资源池，维护虚拟设备地址到资源池地址的映射，创建从逻辑块到资源块的映射关系，并将所述创建的映射关系发送给资源构造/映射模块；其中，所述资源构造/映射模块管理物理磁盘，将物理磁盘组织成具有不同属性的虚拟资源形式，根据所述映射关系查找资源池，向所述资源分配/映射模块提供存储资源。2、 权利要求l的虛拟存储系统，其中，所述系统进一步包括负载平衡模块，所述负载平衡模块负责在系统运行过程中检测物理 磁盘的负载情况，进行数据迁移和资源的重映射，或者使资源构造/映射 模块在以后的构造过程中，优先选择负载小的物理磁盘的段。3、 权利要求l的虚拟存储系统，其中，所述用户数据为对用户可见 的数据，所述存储数据为存储在物理介质上的数据。4、 权利要求l的虚拟存储系统，其中，所述数据逻辑模块包括 数据运算部件，所述数据运算部件根据运算语义规则对输入输出请求的用户数据和来自所述资源分配/映射模块的存储数据进行互相转换。5、 权利要求l的虚拟存储系统，其中，所述数据逻辑模块包括 数据映射部件，所述数据映射部件建立用户数据与若干存储数据操作序列的映射，与所述资源分配/映射模块交互。6、 权利要求l的虛拟存储系统，其中，所述数据逻辑模块包括 数据运算部件，所述数据运算部件根据运算语义规则对输入输出请求的用户数据和来自所述资源分配/映射模块的存储数据进行互相转换； 数据映射部件，所述数据映射部件建立用户数据与若干存储数据操作序列的映射，与所述资源分配/映射模块交互；所述数据运算部件和所述数据映射部件连接，对输入的数据流，将数据运算部件的输出作为数据映射部件的输入；对输...

【专利技术属性】
技术研发人员：朱旭东，柯剑，那文武，许金萍，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：11[中国|北京]