一种对存储卷的管理系统技术方案

本发明专利技术公开了一种对存储卷的管理系统，包括多个节点、数据库和接口层；每个节点包括多个磁盘、至少1个文件系统和节点文件管控系统；其中文件系统由所述节点中的多个磁盘虚拟化得到，所述文件系统中包括存储卷，所述存储卷用于存储用户构建的文件，所述节点文件管控系统用于监控并采集所述节点上文件系统中文件的元数据；所述数据库，用于将各文件系统中文件的元数据进行存储；所述接口层，用于基于用户要求的服务对数据库的元数据进行管理。本发明专利技术解决了分布式文件系统获取文件目录结构缓慢、文件管理复杂的问题。

【技术实现步骤摘要】
一种对存储卷的管理系统
本专利技术涉及存储管理领域，具体涉及一种对存储卷的管理系统。
技术介绍
信息技术的发展带来数据的爆炸性增长，PB规模的非结构化数据越来越常见，如何有效地管理这些数据，并进一步发掘数据价值，已成为IT管理者所必须重视的问题。同时大数据4V特性也对存储系统的大容量、高性能、易扩展、易用性等提出了更高要求。传统的SAN和NAS存储架构已经难以满足海量数据的密集型I/O并发访问管理需求。如图1所示，在大数据、互联网和云计算时代，分布式文件系统得到迅速发展，分布式文件系统(DistributedFileSystem，DFS)或网络文件系统(NetworkFileSystem，NFS)是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。在这样的文件系统中，客户端并非直接访问底层的数据存储区块，而是通过网络，以特定的通信协议和服务器沟通。借由通信协议的设计，可以让客户端和服务器端都能根据访问控制清单或是授权，来限制对于文件系统的访问。它是各种不同的存储服务器之上的组合，这些服务器由以太网或无限带宽技术Infiniband以及远程直接内存访问RDMA互相融汇，最终所形成的一个大的并行文件系统网络。分布式系统在远程数据中心运行，无法完全控制基础结构，这使管理和监视比单机部署更困难。应用必须在公开运行信息状态下，管理员才可以使用这些信息来管理和监视系统，并且现有分布式文件系统存在获取文件目录结构缓慢、文件管理复杂、不够智能化等问题。
技术实现思路
为了解决现有技术中所存在的上述不足，本专利技术提供一种对存储卷的管理系统。本专利技术提供的一种对存储卷的管理系统，包括：多个节点、数据库和接口层；每个节点包括多个磁盘、至少1个文件系统和节点文件管控系统；其中文件系统由所述节点中的多个磁盘虚拟化得到，所述文件系统中包括存储卷，所述存储卷用于存储用户构建的文件，所述节点文件管控系统用于监控并采集所述节点上文件系统中文件的元数据；所述数据库，用于将各文件系统中文件的元数据进行存储；所述接口层，用于基于用户要求的服务对数据库的元数据进行管理。优选的，所述节点文件管控系统包括：监控模块和采集模块；所述监控模块，用于通过对接所述节点上操作系统内核中的监控文件系统组件来监控每个节点中的文件系统是否被操作，并将所述操作以事件的方式插入到events事件列表中，同时基于events事件列表生成所述文件系统的事件通知，并基于所述事件通知生成所述文件系统的事件告警任务，所述监控模块还用于将所述事件告警任务发送到采集模块；所述采集模块，用于基于所述事件告警任务采集相应文件系统的元数据并将采集结果存储到数据库中；其中，文件系统被操作包括文件系统中文件的创建、删除、读、写以及移动操作；所述事件包括文件的创建、删除、读、写和/或移动。优选的，所述采集模块包括：消息中间件，任务执行单元和任务执行结果单元；所述消息中间件，用于提供存放事件告警任务的任务调度队列；所述任务执行单元，用于基于任务调度队列中的事件告警任务采集文件系统的元数据并将采集结果存储到数据库中；所述任务执行结果单元，用于存储任务执行单元的执行结果。优选的，所述任务执行单元，包括：任务调度子单元、多个元数据采集子单元和数据存储子单元；所述任务调度子单元，用于从消息中间件中获取事件告警任务，并调度元数据采集子单元执行所述事件告警任务；所述元数据采集子单元，用于基于任务调度子单元分配的任务采集文件系统的元数据，并将所述文件系统的元数据发送给数据存储子单元；所述数据存储子单元，用于将元数据采集子单元的采集结果存储到数据库中；所述文件系统的元数据包括文件的名称、类型、路径、大小、所在卷、所在节点、所在文件系统、创建时间和修改时间。优选的，所述任务调度子单元，还用于在调度元数据采集子单元之前，通过判断各元数据采集子单元的繁忙程度及执行任务次数确定调度的元数据采集子单元。优选的，所述接口层包括：统计单元、检索单元和数据治愈单元；所述统计单元，用于在数据库中统计文件类型、文件数量和文件分布；所述检索单元，用于根据文件的名称、类型、路径、大小、卷、节点、文件系统、创建时间和/或修改时间在数据库中进行检索；所述数据治愈单元，用于当节点上有文件损坏需要治愈时，先根据文件名称、类型、路径、所在卷确定所述损坏文件的正本与副本，其次根据损坏文件的创建时间、修改时间和大小选择恢复依据，然后根据损坏文件的创建时间新旧、修改时间新旧和大小选择策略，最后通过rsync工具将损坏文件恢复。优选的，所述统计单元，包括：文件类型统计子单元，用于在数据库中基于类型字段，调用aggregate方法进行聚类，统计出元数据中所有类型文件的个数；文件数量统计子单元，用于检索数据库中所有文件元数据，进行count算法统计出所有文件数量；文件分布统计子单元，用于在数据库中分别根据文件所在节点字段、所在卷字段、所在文件字段，调用aggregate方法进行聚类，统计出节点下所有的文件数量、卷中文件的数量、文件系统中文件的数量及分布式文件系统中正副本的位置。优选的，所述接口层还包括：评分单元，用于当出现节点宕机或网络异常后，根据集群文件不一致比例和文件脑裂比例进行评分得到评分结果。优选的，所述接口层还包括：数据展示单元，用于展示统计结果、检索结果和治愈结果。与现有技术相比，本专利技术的有益效果为：本专利技术提供的管理系统包括多个节点、数据库和接口层；每个节点包括多个磁盘、至少1个文件系统和节点文件管控系统；其中文件系统由所述节点中的多个磁盘虚拟化得到，所述文件系统中包括存储卷，存储卷用于存储用户构建的文件，所述节点文件管控系统用于监控并采集所述节点上文件系统中文件的元数据；所述数据库，用于将各文件系统中文件的元数据进行存储；所述接口层，用于基于用户要求的服务对数据库的元数据进行管理，通过本专利技术将组成分布式文件系统的多个节点的磁盘进行虚拟化，得到多个文件系统，通过对文件系统中文件的元数据进行管控从而解决了分布式文件系统获取文件目录结构缓慢的问题，同时简化了文件系统中文件管理的问题。附图说明图1为现有典型的分布式文件管理系统结构示意图；图2为本专利技术对存储卷的管理系统示意图。具体实施方式为了更好地理解本专利技术，下面结合说明书附图和实例对本专利技术的内容做进一步的说明。随着分布式存储的发展，存储行业的标准化进程也不断推进，智能卷管理技术优先采用行业标准接口进行存储接入。在平台层面，通过将异构存储资源进行抽象化，将传统的存储设备级的操作封装成面向存储资源的操作，从而简化异构存储基础架构的操作，能够自动执行创建、变更、回收等整个存储生命周期流程，这个整体中每个成员部分，都会具备一些状态，比如自己的负责模块，自己的本文档来自技高网...

【技术保护点】
1.一种对存储卷的管理系统，其特征在于，包括：/n多个节点、数据库和接口层；/n每个节点包括多个磁盘、至少1个文件系统和节点文件管控系统；其中文件系统由所述节点中的多个磁盘虚拟化得到，所述文件系统中包括存储卷，所述存储卷用于存储用户构建的文件，所述节点文件管控系统用于监控并采集所述节点上文件系统中文件的元数据；/n所述数据库，用于将各文件系统中文件的元数据进行存储；/n所述接口层，用于基于用户要求的服务对数据库的元数据进行管理。/n

【技术特征摘要】
1.一种对存储卷的管理系统，其特征在于，包括：
多个节点、数据库和接口层；
每个节点包括多个磁盘、至少1个文件系统和节点文件管控系统；其中文件系统由所述节点中的多个磁盘虚拟化得到，所述文件系统中包括存储卷，所述存储卷用于存储用户构建的文件，所述节点文件管控系统用于监控并采集所述节点上文件系统中文件的元数据；
所述数据库，用于将各文件系统中文件的元数据进行存储；
所述接口层，用于基于用户要求的服务对数据库的元数据进行管理。


2.如权利要求1所述的系统，其特征在于，所述节点文件管控系统包括：监控模块和采集模块；
所述监控模块，用于通过对接所述节点上操作系统内核中的监控文件系统组件来监控每个节点中的文件系统是否被操作，并将所述操作以事件的方式插入到events事件列表中，同时基于events事件列表生成所述文件系统的事件通知，并基于所述事件通知生成所述文件系统的事件告警任务，所述监控模块还用于将所述事件告警任务发送到采集模块；
所述采集模块，用于基于所述事件告警任务采集相应文件系统的元数据并将采集结果存储到数据库中；
其中，文件系统被操作包括文件系统中文件的创建、删除、读、写以及移动操作；所述事件包括文件的创建、删除、读、写和/或移动。


3.如权利要求2所述的系统，其特征在于，所述采集模块包括：
消息中间件，任务执行单元和任务执行结果单元；
所述消息中间件，用于提供存放事件告警任务的任务调度队列；
所述任务执行单元，用于基于任务调度队列中的事件告警任务采集文件系统的元数据并将采集结果存储到数据库中；
所述任务执行结果单元，用于存储任务执行单元的执行结果。


4.如权利要求3所述的系统，其特征在于，所述任务执行单元，包括：
任务调度子单元、多个元数据采集子单元和数据存储子单元；
所述任务调度子单元，用于从消息中间件中获取事件告警任务，并调度元数据采集子单元执行所述事件告警任务；
所述元数据采集子单元，用于基于任务调度子单元分配的任务采集文件系统的元数据，并将所述文件系统的元数据发送给...

【专利技术属性】
技术研发人员：郭彦辉，
申请(专利权)人：北京联创信安科技股份有限公司，
类型：发明
国别省市：北京;11