一种基于磁盘的对象存储系统技术方案

本发明专利技术公开了一种基于磁盘的对象存储系统，包括：输入模块、元数据服务器、内核层模块和磁盘模块，其中，输入模块连接元数据服务器，元数据服务器通过内核层模块连接磁盘模块；输入模块输出待存储数据至元数据服务器；元数据服务器基于对象存储技术处理待存储数据，标记该处理后的数据为对象数据，通过内核层模块获取磁盘的存储空间信息，基于存储空间信息存储对象数据。本发明专利技术提供一个元数据服务器，将对数据进行处理以实现对象存储，基于内核层直接将数据存储进入磁盘，不经过其他的缓存结构，能够显著提高数据传输的效率和速度。

Disk based object storage system

The invention discloses an object storage system based on disk comprises an input module, metadata server, kernel layer module and disk module, the input module is connected with the metadata server, metadata server connection disk module through the kernel layer module input module; the output data to be stored to the metadata server; metadata server object storage technology for processing based on the data storage, mark the processed data to object data storage, spatial information access to the disk through the kernel layer module, storage space information storage based on object data. The invention provides a metadata server for data processing to achieve the object storage, based on kernel data directly into the disk storage, without other cache structure, can significantly improve the efficiency and speed of data transmission.

【技术实现步骤摘要】
一种基于磁盘的对象存储系统
本专利技术涉及一种基于磁盘的对象存储系统，属于计算机存储领域。
技术介绍
随着信息技术的飞速发展，数据爆炸已成为一个突出问题，大数据存储和管理技术已经是近几年的研究热点之一。传统的数据存储与管理方式已经很难满足大数据存储在在容量、性能、存储效率和安全性等方面的要求。而且大部分数据采集系统，比如雷达回波信号数据采集、数字视频信号处理及高码率卫星数据信号的采集等，都要求对数据进行实时的传输与存储，这就对数据采集存储系统的采集速率、传输速度、存储速度、存储容量以及数据存储的可靠性等方面提出了更高的要求。因此，对高速大数据存储技术的研究就越发显得重要。大数据高效存储是未来的存储应用趋势。目前市场上大多数的存储方案大部分是基于购买商业硬件或是使用一些比较成熟的分布式存储技术方案，购买商业的硬件设备方案的优点是稳定性比较高，缺点是价格昂贵，一般除了银行这种对数据正确性要求极高的行业比较适合。分布式存储技术的方案采用的是软件实现方法，将多个硬件设备聚集起来使用，能够扩充其存储容量，但是在读写效率方面略逊与商业存储方案，还需要不断的完善。
技术实现思路
为了解决上述问题，本专利技术提供一种基于磁盘的对象存储系统。本专利技术采用的技术方案为一种基于磁盘的对象存储系统，包括：输入模块、元数据服务器、内核层模块和磁盘模块，其中，输入模块连接元数据服务器，元数据服务器通过内核层模块连接磁盘模块；输入模块输出待存储数据至元数据服务器；元数据服务器基于对象存储技术处理待存储数据，标记该处理后的数据为对象数据，通过内核层模块获取磁盘的存储空间信息，基于存储空间信息存储对象数据。优选地，所述输入模块还包括web单元，用于通过web浏览器获取待存储数据。优选地，所述元数据服务器解析待存储数据，基于预设的分块规则将数据分块，基于分块数据的属性输出对象信息，结合对象信息和分块数据，标记其为对象数据。优选地，所述内核层模块基于内核函数读取磁盘的存储空间信息并反馈至元数据服务器，元数据服务器基于存储空间信息生成分块规则。优选地，所述存储空间信息包括磁盘容量和磁道位置。本专利技术的有益效果为提供一个元数据服务器，将对数据进行处理以实现对象存储，基于内核层直接将数据存储进入磁盘，不经过其他的缓存结构，能够显著提高数据传输的效率和速度。附图说明图1所示为基于本专利技术实施例的一种基于磁盘的对象存储系统示意图。具体实施方式以下结合实施例对本专利技术进行说明。基于专利技术的实施例，如图1所示一种基于磁盘的对象存储系统，包括：输入模块、元数据服务器、内核层模块和磁盘模块，其中，输入模块连接元数据服务器，元数据服务器通过内核层模块连接磁盘模块；输入模块输出待存储数据至元数据服务器；元数据服务器基于对象存储技术处理待存储数据，标记该处理后的数据为对象数据，通过内核层模块获取磁盘的存储空间信息，基于存储空间信息存储对象数据。输入模块为数据的来源，元数据服务器为数据处理的中心，内核层模块为承接元数据服务器命令并在内核层次进行硬件/接口方面操作的模块；元数据服务器获取数据之后，首先是对数据进行处理，因为要实现对象存储，需要对所存储的数据进行属性的区别和基于该区别的存储映射；第一步解析数据，获取数据的一些基本属性的信息，例如数据量的大小，数据的标签内容，数据的类型等，基于这部分信息，生成一个标记，结合标记和数据生成一个集合体，即对象存储的基本数据单元（对象数据），然后通过内核层模块的相关的内核函数，获取磁盘的存储信息，例如磁道位置，磁盘大小等；将对象数据存储入磁盘，例如磁头以某一个规定的顺序运行，然后依次将数据存入，同时返回写入的位置信息，将位置信息与对象数据进行映射，即完成对象存储的过程。将磁盘驱动器作为对象存储数据，更接近操作系统的底层，也就是在内核层直接将从服务器接收到的数据保存到磁盘上，在整个系统运行过程中充分利用磁盘的读写性能，以至少提高一倍的效率读写数据，因为不需要经过系统的缓存了，减少了内存到磁盘的一次中转，其性能的最大发挥只取决于磁盘的参数等硬件指标。所述输入模块还包括web单元，用于通过web浏览器获取待存储数据。输入模块除了能将本地存储的数据输出之外，还设有远程的数据传输单元，通过网络接收web浏览器输出的数据。所述元数据服务器解析待存储数据，基于预设的分块规则将数据分块，基于分块数据的属性输出对象信息，结合对象信息和分块数据，标记其为对象数据。对数据进行分块，然后进行标记，是现在分布式文件的基本的内容，而分块的规则一般采用数据的类型（即同类信息放一起）、大小、时钟信息（一定时间内的数据分在一起），数据的标签（即数据本身具有标签说明数据内容，同标签则分在一起），基于上述规则分块的数据，输出对象信息（例如属于那个类型的，第几个分块，分块时间等），结合对象信息和数据本身，则形成对象数据。所述内核层模块基于内核函数读取磁盘的存储空间信息并反馈至元数据服务器，元数据服务器基于存储空间信息生成分块规则。内核层模块获取磁盘的存储属性的信息之后，反馈到元数据服务器，服务器根据存储信息进行分析，例如磁盘大小为100MB，而本次输入的数据为96，则可以分为2个块各48，然后剩下的4mb则作为存储其他合适数据块的分块，因为是根据对象属性进行映射对应的方式，所以存储在不同磁盘也不会对数据的连续性造成太大的影响。所述存储空间信息包括磁盘容量和磁道位置。以上所述，只是本专利技术的较佳实施例而已，本专利技术并不局限于上述实施方式，只要其以相同的手段达到本专利技术的技术效果，都应属于本专利技术的保护范围。在本专利技术的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。本文档来自技高网...

【技术保护点】
一种基于磁盘的对象存储系统，其特征在于，包括：输入模块、元数据服务器、内核层模块和磁盘模块，其中，输入模块连接元数据服务器，元数据服务器通过内核层模块连接磁盘模块；输入模块输出待存储数据至元数据服务器；元数据服务器基于对象存储技术处理待存储数据，标记该处理后的数据为对象数据，通过内核层模块获取磁盘的存储空间信息，基于存储空间信息存储对象数据。

【技术特征摘要】
1.一种基于磁盘的对象存储系统，其特征在于，包括：输入模块、元数据服务器、内核层模块和磁盘模块，其中，输入模块连接元数据服务器，元数据服务器通过内核层模块连接磁盘模块；输入模块输出待存储数据至元数据服务器；元数据服务器基于对象存储技术处理待存储数据，标记该处理后的数据为对象数据，通过内核层模块获取磁盘的存储空间信息，基于存储空间信息存储对象数据。2.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于，所述输入模块还包括web单元，用于通过web浏览器获取待存储数据。3...

【专利技术属性】
技术研发人员：张勤，李进，
申请(专利权)人：深圳市中博睿存信息技术有限公司，
类型：发明
国别省市：广东,44