一种磁盘文件管理方法及系统技术方案

本发明专利技术公开了一种磁盘文件管理方法及系统，该方法包括将物理磁盘划分为多个逻辑磁盘；建立物理磁盘块组动态分配策略，以为所述逻辑磁盘动态分配物理磁盘空间；进行物理磁盘空间分配信息维护；本发明专利技术还提供了实施该方法的系统，本发明专利技术通过将物理磁盘划分多个逻辑磁盘以此作为云存储系统集群磁盘管理单位，且逻辑磁盘支持动态分配使用物理空间，使得系统在磁盘空间管理和数据均衡维护、物理磁盘利用率和数据可靠性方面得到了较大改善。

【技术实现步骤摘要】
一种磁盘文件管理方法及系统
本专利技术涉及磁盘管理
，具体而言，为一种磁盘文件管理方法及系统。
技术介绍
随着信息技术发展的日新月异，全球数据量呈爆炸式增长，云存储以其安全、稳定、便捷及海量等优势受到企业及个人用户的青睐，其市场需求快速增长；同时，数据量及用户量的与日俱增也对云存储服务提出越来越高的要求。硬盘作为数据最终的存储介质，硬盘性能将决定性地影响整个云存储系统性能。如何将硬件性能发挥到极致，即如何规划硬盘空间、管理维护硬盘数据，成为云存储服务提供商研究的着力点，因此数据节点的本地磁盘文件系统设计对云存储系统性能至关重要。分布式云存储系统在部署时需要将集群节点内所有有效磁盘进行格式化处理；同时考虑到硬盘设备容量很大(TB级别)，出于管理和使用上的原因，通常将其划分成多个分区再按指定的文件系统将其格式化处理；众所周知，任何文件系统中的数据分为数据和元数据，数据是指文件内实际数据，而元数据指用来描述文件特征的数据(属性、分布等)。因此，磁盘分区格式化时将在分区特定位置写入关于该文件系统的控制信息并预留部分空间以便后续记录元数据；比如，主流的Linux文件系统——第四代扩展文件系统(Fourthextendedfilesystem,Ext4)，将磁盘设备划分为一系列块组，文件系统控制信息元数据记录在设备起始块组内；Ext4文件系统引入新特性，将多个连续块组组成逻辑块组，在逻辑块组的起始块组内也需要记录逻辑块组相关元数据并预留部分空间。元数据的集中式管理，有利于加速元数据的载入和快速查询处理，但引入新的问题——元数据及其预留空间占用所带来的空间浪费。磁盘多分区的情况下该空间浪费问题将进一步放大。在磁盘上部署传统文件系统如Linux主流文件系统Ext4，尽管其元数据集中管理、数据空间连续分配、空间扩展、磁盘碎片整理等多方面优越特性可以保证本地存储的高效可靠性及用户的广泛性，但是，对于云存储系统而言，在集群节点内磁盘上部署传统文件系统，有如下几个劣势：第一，将硬盘划分多个分区进行管理，受限于操作系统对分区数量及容量的约束，以及分区扩容及整理压缩等空间管理存在限制，应对多样化的用户场景时，对集群系统的磁盘空间管理及数据均衡功能的实现造成极大不便；第二，磁盘空间缩容时数据迁移所带来的性能开销影响系统正常业务；第三，文件系统元数据占用的系统空间随节点及磁盘数量的增加而增多，其中不必要的元数据项及空间预留增大系统成本；第四，Ext4属于开源项目，文件系统的可靠性、可维护性等方面均存在较多问题，不适合存储生产环境中的关键数据。有鉴于此，特提出本专利技术。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种磁盘文件管理方法及系统。为了实现上述目的，本专利技术的技术方案为：一种磁盘文件管理方法，包括将物理磁盘的数据区划分成多个有序块组；由所述多个有序块组当中任意序号的多个块组构建逻辑磁盘；当所述逻辑磁盘收到对象写请求时，为所述逻辑磁盘分配所述物理磁盘内的空闲块组；当所述逻辑磁盘收到对象删除请求，所述逻辑磁盘将已空闲的块组归还给所述物理磁盘；所述物理磁盘空间分配信息由所述逻辑磁盘的元数据记录，所述物理磁盘的元数据仅用于记录所述逻辑磁盘的起始位置，以使得由所述对象写请求或所述对象删除请求导致的元数据修改仅在所述逻辑磁盘内进行。进一步的，上述的磁盘文件管理方法中，逻辑磁盘根据业务需求向物理磁盘申请新的块组以扩展空间容量，或者归还空闲空间的块组以供物理磁盘内其他逻辑磁盘使用。进一步的，上述的磁盘文件管理方法中，针对逻辑磁盘接收到的对象写请求：优先查询逻辑磁盘内已分配物理空间的位置能否满足本次写请求；如果有，则在满足同一对象数据写入同一物理块组空间内的条件下为其分配空间；如果没有，则为逻辑磁盘分配物理磁盘内的空闲块组，将该空间分配给对象数据使用。进一步的，上述的磁盘文件管理方法中，针对逻辑磁盘接收到的对象删除请求：删除对象数据占用的逻辑磁盘空间后，分析其所属的块组空间内是否有效数据；如果块组已空闲，则逻辑磁盘将该块组空间归还给物理磁盘；如果块组内仍然有有效数据，则暂不归还该块组。进一步的，上述的磁盘文件管理方法中，进行物理磁盘空间分配信息维护，还包括：逻辑磁盘占用的物理磁盘块组信息由各个逻辑磁盘自己维护。本专利技术还提供了一种磁盘文件管理方系统，包括处理器和存储器，存储器中存储有程序，程序被处理器运行时，执行：将物理磁盘的数据区划分成多个有序块组；由所述多个有序块组当中任意序号的多个块组构建逻辑磁盘；当所述逻辑磁盘收到对象写请求时，为所述逻辑磁盘分配所述物理磁盘内的空闲块组；当所述逻辑磁盘收到对象删除请求，所述逻辑磁盘将已空闲的块组归还给所述物理磁盘；所述物理磁盘空间分配信息由所述逻辑磁盘的元数据记录，所述物理磁盘的元数据仅用于记录所述逻辑磁盘的起始位置，以使得由所述对象写请求或所述对象删除请求导致的元数据修改仅在所述逻辑磁盘内进行。进一步的，上述的磁盘文件管理系统中，逻辑磁盘根据业务需求向物理磁盘申请新的块组以扩展空间容量，或者归还空闲空间的块组以供物理磁盘内其他逻辑磁盘使用。进一步的，上述的磁盘文件管理系统中，针对逻辑磁盘接收到的对象写请求：优先查询逻辑磁盘内已分配物理空间的位置能否满足本次写请求；如果有，则在满足同一对象数据写入同一物理块组空间内的条件下为其分配空间；如果没有，则为逻辑磁盘分配物理磁盘内的空闲块组，将该空间分配给对象数据使用。进一步的，上述的磁盘文件管理系统中，针对逻辑磁盘接收到的对象删除请求：删除对象数据占用的逻辑磁盘空间后，分析其所属的块组空间内是否有效数据；如果块组已空闲，则逻辑磁盘将该块组空间归还给物理磁盘；如果块组内仍然有有效数据，则暂不归还该块组。进一步的，还包括：逻辑磁盘占用的物理磁盘块组信息由各个逻辑磁盘自己维护。与现有技术相比，本专利技术的有益效果是：本专利技术的磁盘文件管理方法和系统，通过将物理磁盘划分多个逻辑磁盘以此作为云存储系统集群磁盘管理单位，且逻辑磁盘支持动态分配使用物理空间，使得系统在磁盘空间管理和数据均衡维护、物理磁盘利用率和数据可靠性方面得到了较大改善。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本专利技术的磁盘文件管理方法的流程示意图；图2为选盘模块磁盘管理示意图；图3为物理磁盘布局及逻辑磁盘划分示意图；图4为磁盘分区扩容-缩容操作实现示意图；图5为逻辑磁盘动态使用物理空间块组的示意图；图6为物理磁盘元数据修改对逻辑磁盘业务的影响示意图；图7为本专利技术的磁盘文件管理系统的逻辑框图。具体实施方式下面将结合附图对本专利技术技术方案的本文档来自技高网...

【技术保护点】
1.一种磁盘文件管理方法，其特征在于，包括/n将物理磁盘的数据区划分成多个有序块组；由所述多个有序块组当中任意序号的多个块组构建逻辑磁盘；/n当所述逻辑磁盘收到对象写请求时，为所述逻辑磁盘分配所述物理磁盘内的空闲块组；当所述逻辑磁盘收到对象删除请求，所述逻辑磁盘将已空闲的块组归还给所述物理磁盘；/n所述物理磁盘空间分配信息由所述逻辑磁盘的元数据记录，所述物理磁盘的元数据仅用于记录所述逻辑磁盘的起始位置，以使得由所述对象写请求或所述对象删除请求导致的元数据修改仅在所述逻辑磁盘内进行。/n

【技术特征摘要】
1.一种磁盘文件管理方法，其特征在于，包括
将物理磁盘的数据区划分成多个有序块组；由所述多个有序块组当中任意序号的多个块组构建逻辑磁盘；
当所述逻辑磁盘收到对象写请求时，为所述逻辑磁盘分配所述物理磁盘内的空闲块组；当所述逻辑磁盘收到对象删除请求，所述逻辑磁盘将已空闲的块组归还给所述物理磁盘；
所述物理磁盘空间分配信息由所述逻辑磁盘的元数据记录，所述物理磁盘的元数据仅用于记录所述逻辑磁盘的起始位置，以使得由所述对象写请求或所述对象删除请求导致的元数据修改仅在所述逻辑磁盘内进行。


2.根据权利要求1所述的磁盘文件管理方法，其特征在于，所述逻辑磁盘根据业务需求向所述物理磁盘申请新的所述块组以扩展空间容量，或者归还空闲空间的所述块组以供所述物理磁盘内其他所述逻辑磁盘使用。


3.根据权利要求1所述的磁盘文件管理方法，其特征在于，
针对逻辑磁盘接收到的所述对象写请求：优先查询逻辑磁盘内已分配物理空间的位置能否满足本次写请求；如果有，则在满足同一对象数据写入同一物理块组空间内的条件下为其分配空间；如果没有，则为逻辑磁盘分配物理磁盘内的空闲块组，将该空间分配给对象数据使用。


4.根据权利要求1所述的磁盘文件管理方法，其特征在于，针对逻辑磁盘接收到的所述对象删除请求：删除对象数据占用的逻辑磁盘空间后，分析其所属的块组空间内是否有效数据；如果块组已空闲，则逻辑磁盘将该块组空间归还给物理磁盘；如果块组内仍然有有效数据，则暂不归还该块组。


5.根据权利要求1所述的磁盘文件管理方法，其特征在于，还包括：
逻辑磁盘占用的物理磁盘块组信息由各个逻辑磁盘自己维护。


6.一种磁盘文件...

【专利技术属性】
技术研发人员：季旻，沈海嘉，刘芳蕾，白煌煌，
申请(专利权)人：天津中科曙光存储科技有限公司，
类型：发明
国别省市：天津;12