一种对象存储设备的数据一致性存储方法及系统技术方案

本发明专利技术公开了一种对象存储设备的数据一致性存储方法及系统，包括：多个分布式服务器，即OSD，用以存储文件的数据部分，优化数据分布并支持数据的预取，管理每个对象的元数据；多个元数据服务器，即MDS，用以存储对象的属性并提供元数据服务，即存储对象的数据存放到分布式服务器中的信息。实施本发明专利技术，消除多个服务器之间的数据不一致；实现读写速度快，利于共享，可实现大规模、高可靠、高性能、超融合的存储应用，适合对可扩展性和存储性能要求不断提升的应用场景。

A data consistency storage method and system for object storage device

【技术实现步骤摘要】
一种对象存储设备的数据一致性存储方法及系统
本专利技术属于数据
，涉及一种对象存储设备的数据一致性存储方法及系统。
技术介绍
随着网络的日益发展，数据存储方式越来越多样化，分布式存储也日益壮大，分布式存储中目前主流为DAS存储、SAN存储以及文件存储NAS。DAS是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。SAN，StorageAreaNetwork是一种用高速光纤或网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O联结方式，如SCSI,ESCON及Fibre-Channels；SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好，它采用SCSI块I/O的命令集，通过在磁盘或FC，FiberChannel级的数据访问提供高性能的随机I/O和数据本文档来自技高网...

【技术保护点】
1.一种对象存储设备的数据一致性存储系统，其特征在于，该系统包括：/n多个分布式服务器，即OSD，用以存储文件的数据部分，优化数据分布并支持数据的预取，管理每个对象的元数据；/n多个元数据服务器，即MDS，用以存储对象的属性并提供元数据服务，即存储对象的数据存放到分布式服务器中的信息。/n

【技术特征摘要】
1.一种对象存储设备的数据一致性存储系统，其特征在于，该系统包括：
多个分布式服务器，即OSD，用以存储文件的数据部分，优化数据分布并支持数据的预取，管理每个对象的元数据；
多个元数据服务器，即MDS，用以存储对象的属性并提供元数据服务，即存储对象的数据存放到分布式服务器中的信息。


2.如权利要求1所述的系统，其特征在于，所述分布式服务器通过计算结点与元数据服务器通信，每个元数据服务器作为一个节点与网络进行数据通信。


3.如权利要求2所述的系统，其特征在于，所述分布式服务器包括：
第一存储介质，用以存储文件的数据部分信息，所述存储介质可被元数据服务器调用；
对象存储软件，用以对存储内容进行管理并作为一个通信节点。


4.如权利要求3所述的系统，其特征在于，所述元数据服务器包括：
第二存储介质，用以存储文件的元数据信息；
对象存储管理软件，用以管理分布式服务器对外提供读写访问功能及作为管理节点。


5.如权利要求4所述的系统，其特征在于，所述第二存储介质包括多个磁盘，每一个磁盘为一个独立服务单元，即DataNode；每三个DataNode组成一个分组Group，每组Group内的DataNode都存储相同的文件数据，所有分组Group合并成大文件对象Block存储于所述第二存储介质中。


6.一种对象存储设备的数据一致性存储方法，依靠如权利要求1-6所述的系统实现，其特征在于，包括以下步骤：
步骤S1，系统存入文件数据时，系统通过调用客户端接口检测缓存信息是否是最新的，若是最新的，则获取系统分配的BlockID和Group信息并发送请求到该Group的主数据节点DataNode，主数据节点根据Block分配FileID，直到所有的DataNode都传输成功；
步骤S2，系统从接收到的元数据中获取所述属性对象，判断接收到的元数据中是否存在所述属性对象，若存在则基于所述属性对创建生成所述显示元素对应的组件对象，若不存在则创建所述属性信息和/或所述样式信息对应的属性对象，并将所述属性对象存储至缓存区中；
步骤S3,系统将客户端访问文件的路径转换为全局文件系统唯一路径名，查询元数据缓存时进行身份验证，若身份验证通过则进行数据通信，对接收到的元数据信息进行解析，获取请求信息中所包含的关键...

【专利技术属性】
技术研发人员：冷迪，黄建华，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：广东;44