一种集群存储系统的数据管理方法及系统技术方案

本发明专利技术公开了一种集群存储系统的数据管理方法及系统，属于集群存储技术领域，该方法利用磁盘文件系统存储和管理元数据，数据布局以目录为基本单位进行分布；客户端对数据布局信息进行感知并发出数据访问指令，存储服务器根据客户端的数据访问指令判断查找路径是否为根目录，如是，则选定特定的活动节点作为目标节点进行数据访问；如否，根据路径输入参数计算Hash值，获取数据布局信息，查找目标节点并进行数据访问。本发明专利技术的方法和系统消除了元数据管理的性能瓶颈、单点故障、数据一致性等一系列相关问题，系统扩展性显著提高，系统并发性和性能将实现线性扩展增长。

【技术实现步骤摘要】

本专利技术涉及集群存储
，尤其涉及一种集群存储系统的数据管理方法及系统。
技术介绍
云存储和大数据背景下，非结构化数据呈现爆炸式的增长，面对海量的存储系统，高效的元数据管理和数据定位是个巨大的挑战，直接影响系统的扩展性、性能、可靠性和稳定性等。现有技术方案主要是采用专用元 数据服务来管理元数据，包括集中式和分布式两种模型，数据定位通过向元数据服务器进行查询实现。图I为现有技术中元数据服务模型示意图，如图I所示，图I (a)为集中式元数据服务模型，该模型提供一个中央元数据服务器负责元数据的存储和客户端查询请求，它提供统一的文件系统命名空间，并处理名字解析和数据定位等访问控制功能。传统的NAS系统中，I/O数据流需要经过服务器，而分布式文件系统中，I/O数据流不需要经过元数据服务器，由客户端与存储节点直接交互。这个架构上的变革，使得控制流与数据流分离开来，元数据服务器和存储服务器各司其职，系统扩展性和性能上获得了极大的提升。显而易见，集中式元数据服务模型的最大优点就是设计实现简单，本质上相当于设计一个单机应用程序，对外提供网络访问接口即可，如Socket, RPC, HTTP R本文档来自技高网...

【技术保护点】
一种集群存储系统的数据管理方法，该方法基于包括客户端和存储服务器集群的系统实现，包括数据存储和访问的操作，其特征在于，所述数据存储的操作包括：利用磁盘文件系统存储元数据，数据布局以目录为基本单位进行分布并分配Hash范围，其中，文件的父目录利用扩展属性记录存储节点的映射关系，子文件在父目录所属存储节点中进行分布；所述方法基于所述数据布局进行数据访问操作，其中，所述数据访问操作包括：S1：客户端对数据布局信息进行感知并发出数据访问指令，集成服务器根据客户端的数据访问指令判断查找路径是否为根目录，如是，则执行步骤S2，如否，执行步骤S3；S2：选定特定的活动节点作为目标节点进行数据访问；S3：根据...

【技术特征摘要】

【专利技术属性】
技术研发人员：刘爱贵，
申请(专利权)人：北京联创信安科技有限公司，
类型：发明
国别省市：