一种基于公有云的安全可靠的公有云存储系统的架构及方法技术方案

本发明专利技术公开了一种基于公有云的安全可靠的公有云存储系统，及其上传、下载、删除和保障其可靠性的方法，包括服务器、多家公有云和客户端，所述服务器存储文件的元数据信息，所述服务器对外提供公有云存储服务，所述多家公有云存储实际的文件数据，所述客户端只负责调用服务器的存储服务对底层存储不可见，由此构建出底层为多家公有云的公有云存储系统。本发明专利技术安全性高、可靠性好、性价比高以及调度灵活。

【技术实现步骤摘要】
一种基于公有云的安全可靠的公有云存储系统的架构及方法
本专利技术涉及一种基于公有云的安全可靠的公有云存储系统及上传、下载、删除、保障其可靠性的方法，属于大数据的云存储领域。
技术介绍
在现在的大数据时代背景下数据作为一种资产，谁掌握海量数据谁就占据了巨量的财富。而用户的数据信息存储在一些公有云上则面临着数据泄露的危险，在数据挖掘技术的日益发展的当下谁都不能保证自己的数据存储在某些公有云平台上不被数据挖掘，这样用户的数据安全性无从谈起。新兴的大数据技术让越来越多的企业意识到大数据的重要性，也想得到大数据的资产，于是许多企业发展大数据技术，提供云存储服务，有的甚至为了得到“大数据资产”甚至提供免费云存储服务，但是在大数据时代兴起的初期，探索不都是成功的，有的企业提供的公有云服务在一段时间过后并没有发现企业的盈利模式，但是提供的云存储服务每天都会产生大量的费用。于是企业的探索以失败告终，可能会关停提供的服务。这样，用户存储的大量数据就会面临危险。存储在公有云上的数据不够可靠。完全依赖某一家的公有云服务性能和价格的比较可能不尽如人意。建设和维护一个数据中心要花费大量的人力物力财力，所以即使大本文档来自技高网...

【技术保护点】
一种基于公有云的安全可靠的公有云存储系统的架构，其特征在于：包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。

【技术特征摘要】
1.一种基于公有云的安全可靠的公有云存储系统的架构，其特征在于：包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。2.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：所述客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，其中：编码模块，负责对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目；并根据分成的校验块生成初始元数据信息；解码模块，负责对用户从公有云下载下来的校验块的解码并整合恢复成原始数据；服务器交互模块，负责调用服务器的公有云存储服务，主要包括向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息，接收服务器根据初始元数据信息反馈的存储元数据信息，以及向服务器发送下载请求；公有云交互模块，负责把编码模块生成的校验块根据存储元数据信息分别上传到公有云，以及根据存储元数据信息分别下载对应的公有云上的校验块到客户端。3.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：所述服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：文件系统管理模块，负责存储文件的存储元数据信息；公有云存储管理调度模块，负责底层多家公有云的管理，根据初始元数据信息为所述客户端上传文件所需要的M家公有云的URL地址的分配，将初始元数据信息和其对应的URL地址合成为存储元数据信息；公有云存储管理调度模块用于检测公有云的服务状况；数据容错恢复模块，负责底层公有云服务情况的容错恢复处理；多家公有云用于存储客户端根据存储元数据信息上传的校验块。4.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用；若公有云存储管理调度模块检测到有X家公有云关停服务，服务器更新维护云存储文件系统；数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息；根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块；根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址；根据URL地址把这X个校验块上传到X家公有云；全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。5.一种基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于：包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端只负责调用服务器的公有云存储服务，服务器的底层对客户端不可见，由此构建出底层为多家公有云的公有云存储系统。6.根据权利要求5所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于：客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：通过编码模块对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目；并根据分成的校验块生成初始元数据信息；通过服务器交互模块向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息；通过公有云存储管理调度模块根据初始元数据信息为所述客户端上传文件分配所需要的M家公有云的URL地址，将初始元数据信息和其对应的URL地址合成为存储元数据信息，并将该存储元数据信息反馈给服务器交互模块，同时将该存储元数据信息发送给文件系统管理模块进行存储；通过公有云交互模块把编码模块生成的校验块根据存储元数据信息分别上传到对应的公有云；多家公有云用于存储客户端上传的校验块；通过公有云存储管理调度模块用于检测公有云的服务状况；更加公有云的服务状况，通过数据容错恢复模块进行容错恢复处理；通过...

【专利技术属性】
技术研发人员：刘鹏，张真，王义飞，杜何飞，陈思恩，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：江苏,32