一种大数据存储系统技术方案

本发明专利技术公开了一种大数据存储系统，将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；使用高度可扩展性的分布式多域式存储方式，该存储系统允许用户在较高层次上使用存储模块，将文件做为对象来管理。为了提高访问和操作对象的效率，该系统将对象（文件）的内容和对象的元数据彻底分离，通过建立合理、高效的元数据存储空间和元数据管理模块来提供快速的随机数据访问和索引速度。该系统所运用的安全模型能够提供准确的安全控制，保证存储的对象只在被指定的时间、地点及被给予访问权限的用户访问。

【技术实现步骤摘要】

本专利技术涉及一种大数据存储系统。涉及专利分类号G06计算；推算；计数G06F电数字数据处理G06F17/00特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法G06F17/30信息检索；及其数据库结构。 
技术介绍
随着近期互联网、移动手机、物联网及种类繁多的传感器的迅速发展，在全世界范围内产生了海量的数据信息，这些数据的容量不断呈指数及增长。尽管一些大型云模块提供商如亚马逊(Amazon S3)、谷歌(Google)的云存储平台已经在这方面取得了巨大成功，但安全和隐私已成为企业用户最为关切的问题，出于对安全风险的忧虑，如难以克服的隐私、数据保护和供应商锁定等，使得近年来企业的IT部门更关注私有云，采用自建云存储的方案，来提供满足其个性化需求和商业化需求的可用模块。其次，由于大数据下的分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点，目前市场主流云存储系统的无法充分提供高效的大数据级别的元数据随机读取、搜索及排序。一份AFCOM(data centre trade organisation)的调查显示超过63%的企业的ＩＴ主管已经发本文档来自技高网...

【技术保护点】
一种大数据存储系统，其特征在于：将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；所述容器具有对象元数据存储空间和对象松散数据存储空间；还具有控制所述容器中存储数据的对象元数据管理单元和对象松散数据管理单元；所述的对象元数据存储空间中存储有系统内所有对象的元数据块形成的一个元数据块集合；在所述块集合中的对象的元数据块按字典序排列；所述每一个对象的元数据块为一个多行两列矩阵，矩阵第一列和第二列的值分别为元数据块的标识和块值；所述每一个块集合中的所有块标识具有唯一的值；所述的多行两列矩阵中至少包含拥有者信息、访问权限信...

【技术特征摘要】
1.一种大数据存储系统，其特征在于：
将文件划分为对象元数据和对象松散数据，所述的对象元数据和对象松散
数据存储在容器中，所述的容器分布式存储在位于不同域的存储服务器中；
所述容器具有对象元数据存储空间和对象松散数据存储空间；
还具有控制所述容器中存储数据的对象元数据管理单元和对象松散数据管
理单元；
所述的对象元数据存储空间中存储有系统内所有对象的元数据块形成的一
个元数据块集合；在所述块集合中的对象的元数据块按字典序排列；
所述每一个对象的元数据块为一个多行两列矩阵，矩阵第一列和第二列的
值分别为元数据块的标识和块值；所述每一个块集合中的所有块标识具有唯一
的值；
所述的多行两列矩阵中至少包含拥有者信息、访问权限信息、对象数据类
型和对象创建时间信息。
2.根据权利要求1所述的大数据存储系统，其特征还在于具有访问点模块，
为系统提供命名空间，该命名空间内的容器名作为容器索引使用；所述容器索
引映射为一容器元数据集，该数据集由若干个两行多列矩阵组成，矩阵中每一
行分别表示块标识和块值。
3.根据权利要求2所述的大数据存储系统，其特征还在于：所述的容器名
与对象关键字组合作为对象索引。
4.根据权利要求3所述的大数据存储系统，其特征还在于：所述的对象元
数据管理模块具有核心对象记录，记录所述每一个对象的关键字和对象版本ID
列表，列表中每一个ID与对象的一个独立版本相关联。
5.根据权利要求4所述的大数据存储系统，其特征还在于：每个版本的对
象具有唯一的索引字符串，该索引字符串由该版本对象所在容器名称、对象关
键字和对象的版本ID组成。

【专利技术属性】
技术研发人员：李漾，张婷，
申请(专利权)人：李漾，张婷，
类型：发明
国别省市：辽宁;21