【技术实现步骤摘要】
一种非结构化数据的海量存储方法及存储系统
本专利技术实施例涉及海量存储
，具体涉及一种非结构化数据的海量存储方法及存储系统。
技术介绍
计算机信息化系统中的数据分为结构化数据和非结构化数据，其中非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等，因此非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。将非结构化数据进行海量存储时，由于数据爆炸性导致数据在入库存储时的速度慢，严重影响数据存储的及时性，容易出现数据丢失的情况，同时由于海量存储的空间大，合理全面的利用难度大，容易出现空间利用率低的问题。
技术实现思路
为此，本专利技术实施例提供一种非结构化数据的海量存储方法及存储系统，采用增设存储单...
【技术保护点】
1.一种非结构化数据的海量存储方法及存储系统，其特征在于，包括如下步骤：/n步骤100、将云存储空间划分为若干个用于存储不同文件类型的分布式存储模块；/n步骤200、利用空间模拟法将所述分布式存储模块划分为若干个子存储集群，设定数据流在所述子存储集群和网格存储位置中的存储方式；/n步骤300、在相邻两个所述子存储集群之间设置虚拟通道，架设前端数据源头与所述子存储集群之间匹配对应的传输通信链路；/n步骤400、将若干个相邻所述子存储集群组成一个存储实现单元，利用同一个存储实现单元的所述虚拟通道实现快速存储。/n
【技术特征摘要】
1.一种非结构化数据的海量存储方法及存储系统，其特征在于，包括如下步骤：
步骤100、将云存储空间划分为若干个用于存储不同文件类型的分布式存储模块；
步骤200、利用空间模拟法将所述分布式存储模块划分为若干个子存储集群，设定数据流在所述子存储集群和网格存储位置中的存储方式；
步骤300、在相邻两个所述子存储集群之间设置虚拟通道，架设前端数据源头与所述子存储集群之间匹配对应的传输通信链路；
步骤400、将若干个相邻所述子存储集群组成一个存储实现单元，利用同一个存储实现单元的所述虚拟通道实现快速存储。
2.根据权利要求1所述的一种非结构化数据的海量存储方法，其特征在于，在步骤200中，所述空间模拟法将所述分布式存储模块按照三维矩阵划分为若干个立体分布的所述子存储集群，同一个类型的数据流按序存储在不同立体位置的所述子存储集群内。
3.根据权利要求2所述的一种非结构化数据的海量存储方法，其特征在于，在步骤200中，根据所述子存储集群分布特征，设定数据流在所述子存储集群的存储方式的具体实现步骤为：
沿着立体分布的所述子存储集群的三个直角相交的棱边构建三维直角坐标系；
标记每个所述子存储集群在所述三维直角坐标系内的三维坐标；
具体设定数据流先顺次按照上下层的方式存储，然后在每层子存储集群按照先行后列的方式保存。
4.根据权利要求1所述的一种非结构化数据的海量存储方法，其特征在于，在步骤300中，所述虚拟通道设置在所述三维坐标系中同一层的所述子存储集群之间以及相邻的两层所述子存储集群之间，所述子存储集群整体通过所述虚拟通道实现数据贯通存储，所述虚拟通道将数据流在所述子存储集群沿着“S”形依次顺序保存。
5.根据权利要求1所述的一种非结构化数据的海量存储方法，其特征在于，在步骤400中，所述存储实现单元以其中一个所述子存储集群作为主存储对象，并将其他的所述子存储集群作为缓冲池。
6.根据权利要求5所述的一种非结构化数据的海量存储方法，其特征在于，在步骤400中，在同一个所述存储...
【专利技术属性】
技术研发人员：陈书平，于长琦，王绪繁，陶俭，陈竞翔，姜志山，王灿，王玉宝，
申请(专利权)人：华能集团技术创新中心有限公司，华能信息技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。