一种基于对象存储的大数据云存储方法及系统技术方案

本发明专利技术涉及一种基于对象存储的大数据云存储方法及系统，其方法包括以下步骤，S1，获取待存储的原始大数据，并对所述原始大数据进行预处理，得到预处理大数据；S2，基于对象将所述预处理大数据进行分类，得到多种类型的分支大数据；S3，通过多个数据流通道对多种类型的所述分支大数据进行一一对应的传输，形成多种数据子流；S4，将多种所述数据子流以并发队列的形式上传至云平台，并在所述云平台中基于对象分类保存到存储器中。在本发明专利技术一种基于对象存储的大数据云存储方法中，采用基于对象的大数据分类，并采用并发队列的方法同时进行多种类型的分支大数据同时分类存储，可以大大提高大数据的存储速度。

A big data cloud storage method and system based on object storage

【技术实现步骤摘要】
一种基于对象存储的大数据云存储方法及系统
本专利技术涉及大数据领域，具体涉及一种基于对象存储的大数据云存储方法及系统。
技术介绍
大型数据时代和云时代已经双双降临，云计算平台已经成为大规模数据处理的有效平台。以生物、金融、通讯等为代表的典型行业，每天都会在本地生产出数百GB甚至数TB的数据。受限于广域网络的带宽限制，这些海量的大型数据传输至云平台的速度，已经成为制约这些领域使用云计算资源进行数据处理的瓶颈。
技术实现思路
本专利技术所要解决的技术问题是提供有一种基于对象存储的大数据云存储方法及系统，可以大大提高大数据的存储速度。本专利技术解决上述技术问题的技术方案如下：一种基于对象存储的大数据云存储方法，包括以下步骤，S1，获取待存储的原始大数据，并对所述原始大数据进行预处理，得到预处理大数据；S2，基于对象将所述预处理大数据进行分类，得到多种类型的分支大数据；S3，通过多个数据流通道对多种类型的所述分支大数据进行一一对应的传输，形成多种数据子流；S4，将多种所述数据子流以并发队列的形本文档来自技高网...

【技术保护点】
1.一种基于对象存储的大数据云存储方法，其特征在于：包括以下步骤，/nS1，获取待存储的原始大数据，并对所述原始大数据进行预处理，得到预处理大数据；/nS2，基于对象将所述预处理大数据进行分类，得到多种类型的分支大数据；/nS3，通过多个数据流通道对多种类型的所述分支大数据进行一一对应的传输，形成多种数据子流；/nS4，将多种所述数据子流以并发队列的形式上传至云平台，并在所述云平台中基于对象分类保存到存储器中。/n

【技术特征摘要】
1.一种基于对象存储的大数据云存储方法，其特征在于：包括以下步骤，
S1，获取待存储的原始大数据，并对所述原始大数据进行预处理，得到预处理大数据；
S2，基于对象将所述预处理大数据进行分类，得到多种类型的分支大数据；
S3，通过多个数据流通道对多种类型的所述分支大数据进行一一对应的传输，形成多种数据子流；
S4，将多种所述数据子流以并发队列的形式上传至云平台，并在所述云平台中基于对象分类保存到存储器中。


2.根据权利要求1所述的一种基于对象存储的大数据云存储方法，其特征在于：在所述S1中，对所述原始大数据进行预处理，包括对所述原始大数据进行去重和补缺预处理。


3.根据权利要求2所述的一种基于对象存储的大数据云存储方法，其特征在于：利用数据拟合的方法对所述原始大数据进行补缺处理。


4.根据权利要求1至3任一项所述的一种基于对象存储的大数据云存储方法，其特征在于：在所述S2中，还包括以下步骤，对多种类型的所述分支大数据进行添加描述信息处理；
在所述S3中，所述描述信息打包压缩在对应的所述数据子流的前端。


5.根据权利1至3任一项所述的一种基于对象存储的大数据云存储方法，其特征在于：当所述数据子流上传云平台失败后，还包括以下步骤，
S5，将上传失败的所述数据子流进行检测，若检测结果为正常数据，则将上传失败的所述数据子流添加至并发列队中进行重传，若检测结果为异常数据，则将上传失败的所述数据子流丢弃。


6.一种基于对象存储的大...

【专利技术属性】
技术研发人员：兰海翔，张涛，黄纪萍，杨启帆，李卫群，
申请(专利权)人：贵州力创科技发展有限公司，
类型：发明
国别省市：贵州;52