一种基于纠删码的多云碎片化安全存储方法及系统技术方案

本发明专利技术公开了一种基于纠删码的多云碎片化安全存储方法及系统，其中包括多云数据中心的数据存储步骤和多云数据中心的数据读取步骤的方法，以及包括数据碎片层、数据调度层和云服务层的系统，本发明专利技术的技术效果在于，数据经加密算法和纠删码算法处理后，存储在多个云数据中心，既节省数据中心硬件建设成本，又避免单云数据中心所导致的数据可用可靠性问题，文件块根据响应时间来选择相应的云数据中心，能提高文件块分发效率，提升用户与云存储系统之间交互的服务质量。文件块分散存储在多个云数据中心，元数据存储在元数据服务器上，能避免云数据中心垄断窃取用户数据，同时避免系统开发者获取用户数据，提升数据中心数据的存储安全性。

Method and system for secure storage of cloudy fragments based on erasure codes

The invention discloses a system and erasure code cloudy fragmentation safe storage method based on the method of data storage, including the steps of data center and cloudy cloudy data center data read process, including data layer, data fragmentation and scheduling layer and cloud service layer system, technical effect of the invention is the data. The encryption algorithm and erasure code algorithm, stored in a plurality of cloud data center, which saves the hardware construction cost data center, but also avoid the problem of data reliability caused by single available cloud data center, file block according to the response time to select the corresponding cloud data center, can improve the efficiency of file block distribution, enhance interaction between the user and the service quality of cloud storage system. The file is stored in a piece of cloud data center, the metadata stored in the metadata server, cloud data center can avoid monopoly to steal user data, while avoiding the system developers access to user data, improve data storage security data center.

【技术实现步骤摘要】
一种基于纠删码的多云碎片化安全存储方法及系统
本专利技术涉及云存储
，尤其涉及一种基于纠删码的多云碎片化安全存储方法及系统。
技术介绍
随着新兴信息技术与现代经济社会的交汇融合，各行业产生的数据量正快速增长，大数据正快速聚集规模巨大、种类繁多、复杂多变的数据，并对其进行收集、存储、处理和分析应用，从海量数据中发现规律、提取价值、创造财富的服务业态。由于数据中隐藏了巨大的价值财富，使得数据逐渐成为一个国家的基础性战略资源，同时大数据基础设施、分析和服务技术的发展使企业能够转型为数据驱动型机构。由于大数据的重要性，国家、企业、组织机构都需要构建大数据能力来保持竞争力。我国近年来大力支持大数据发展应用，推动国家数据中心平台建设，推进信用、交通、医疗、就业等领域政府数据资源适度向社会开发，以消除信息孤岛，达到建设数据强国目的。数据中心具有数据规模大、种类多、结构多样等特征，且要求高可靠性、高安全性、高扩展性，对数据存储安全提出了新要求。云存储能支持海量资源数据存储和有效管理百亿级文件，为数据中心建设提供可靠的解决方案。现有数据存储安全技术及存在问题如下：①数据加密：存在数据可用性问题，如数据损坏、丢失等。②副本技术：存储开销过大；③RAID和纠删码技术：数据安全性问题，如传输过程被窃取等。此外，假设将数据存储在单云数据中心，存在数据可用性、可靠性等问题，如云数据中心故障、不可信等。因此，数据安全存储一直是数据中心的核心问题。国内专利：一种基于多个云存储系统的安全存储方法及系统(CN103118089A)，提供了包括数据写操作、读操作的安全存储方法，数据写操作步骤包括数据分块、数据加密、冗余编码、数字签名、分享处理及数据存储字步骤；数据读操作步骤包括解密元数据分片文件、数字签名检查、冗余编码及解密密文数据块子步骤。同时安全存储系统，包括加解密编码模块、冗余编码模块、秘密分享模块和数字签名模块。但没有保证数据存储阶段的时间消耗及服务质量。国外文献：ImplementationofCloud-RAID:ASecureandReliableStorageabovetheClouds(InternationalConferenceonGridandPervasiveComputing，SpringerBerlinHeidelberg，2013)提供多个云存储供应商以避免锁定问题，利用RAID技术保证数据可用性、机密性和完整性，但当多个云存储供应商出现故障时，无法保证数据可用性，且无法保证用户与系统交互服务质量。因此，针对以上问题，迫切需要一种新型的适用数据中心的云存储系统，不仅满足数据安全性、可用可靠性、机密性，而且能极大的节约数据中心建设成本，同时保证用户与云存储系统之间交互的服务质量。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于纠删码的多云碎片化安全存储方法及系统，用于数据中心解决数据安全存储等问题，同时提升用户与云存储系统之间交互的服务质量。为了实现上述技术目的，本专利技术的技术方案是：一种基于纠删码的多云碎片化安全存储方法，包括多云数据中心的数据存储步骤和多云数据中心的数据读取步骤，所述的多云数据中心的数据存储步骤，包括数据碎片化步骤、数据分发步骤和数据条带存储步骤：1)、数据碎片化：对用户上传数据通过密钥进行加密，生成加密数据，然后将加密数据进行编码后生成多个文件块，并生成记录包括密钥在内的文件块信息的元数据文件；2)、数据分发：根据各个云数据中心的响应时间按照从小到大进行排序，将步骤1)中生成的文件块依次分发到排序后的各个云数据中心；3)、数据条带存储：每个云数据中心提供逻辑上连续的地址空间，同一个加密数据存储在不同云数据中心上的文件块形成一个条带组；所述的多云数据中心的数据读取步骤，包括元数据文件读取步骤、数据碎片化读取步骤和数据还原步骤；①、元数据文件读取：从元数据服务器中读取元数据文件，以获取数据的n个文件块信息；②、数据碎片化读取：根据文件块信息查找存储了相应文件块的云数据中心，并下载文件块；③、数据还原：通过密钥解密数据，得到原始数据。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据碎片化步骤的具体步骤包括：首先，使用密钥为Key的对称加密算法对数据Data进行加密，生成加密数据Data′；其次，采用纠删码算法编码加密数据Data′，生成n个文件块，其中包括k个数据块和m个编码块，且n＝k+m；同时，产生一份Data′的元数据文件，元数据文件存储在元数据服务器中。元数据文件包括数据Data名称、大小，数据块个数k、编码块个数m、纠删码算法名称，密钥Key。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据碎片化步骤中，还包括采用散列算法对用户上传数据Data进行哈希值运算，将得到的哈希值作为对称加密算法密钥Key的步骤。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据分发步骤的具体步骤包括：云数据中心的数量为c个，c取自然数，按照响应时间大小，将云数据中心排序为{C1,C2,...,Cc}的集合C，将n个文件块分发存储到S个云数据中心，其中S∈C；若n＞c，则按照云数据中心排序的顺序依次分发存储文件块；若1≤n≤c，则选取前n个云数据中心分发存储文件块。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据分发步骤中，响应时间θ＝Te-Tb，其中Te为相应的云数据中心开始接收第一个数据字节的时间，Tb为系统开始向相应的云数据中心发送请求时间。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据碎片化读取步骤中，在下载文件块时，还包括当某个云数据中心上的文件块下载失败时，则根据从其他云数据中心下载的存活文件块进行解码计算，从而恢复该数据。所述的一种基于纠删码的多云碎片化安全存储方法，所述的数据还原步骤中，还包括采用散列算法对解密后数据进行哈希值运算，再与原始哈希值进行比较的步骤，若哈希值相等，则读取的数据为原始数据，否则判定为读取数据失败。一种基于纠删码的多云碎片化安全存储系统，包括数据碎片层、数据调度层和云服务层：所述数据碎片层包括用户应用服务模块、数据加密/解密服务模块、数据编码/解码服务模块和元数据服务模块；(1)、用户应用服务模块用于提供与用户进行交互的接口服务，对用户身份进行标识登记，并为不同类型用户设置不同的访问及功能权限；(2)、数据加密/解密服务模块用于为用户在存储数据和读取数据时分别通过密钥进行加密和解密服务；(3)、数据编码服务模块用于生成文件块，包括将加密后的数据进行切分为多个数据块并通过纠删码编码计算产生多个编码块；数据解码服务模块用于从各云数据中心下载相应的文件块，通过纠删码解码计算恢复加密数据；(4)、元数据服务模块用于生成记录包括密钥在内的文件块信息的元数据文件；所述数据调度层包括数据调度服务模块和数据分发服务模块；Ⅰ、数据调度服务模块用于根据系统与各云数据中心的响应时间，将云数据中心按照优→差进行排序，以此来调度编码后生成的文件块；II、数据分发服务模块用于通过RESTfulAPI(互联网应用程序的API设计理论)与各云数据中心进行连接，将文件块分发到各个云数据中心；所述云服务层由多个云数据中心组成，用于进行云数据储存。所本文档来自技高网...

【技术保护点】
一种基于纠删码的多云碎片化安全存储方法，其特征在于，包括多云数据中心的数据存储步骤和多云数据中心的数据读取步骤，所述的多云数据中心的数据存储步骤，包括数据碎片化步骤、数据分发步骤和数据条带存储步骤：1)、数据碎片化：对用户上传数据通过密钥进行加密，生成加密数据，然后将加密数据进行编码后生成多个文件块，并生成记录包括密钥在内的文件块信息的元数据文件；2)、数据分发：根据各个云数据中心的响应时间按照从小到大进行排序，将步骤1)中生成的文件块依次分发到排序后的各个云数据中心；3)、数据条带存储：每个云数据中心提供逻辑上连续的地址空间，同一个加密数据存储在不同云数据中心上的文件块形成一个条带组；所述的多云数据中心的数据读取步骤，包括元数据文件读取步骤、数据碎片化读取步骤和数据还原步骤；①、元数据文件读取：从元数据服务器中读取元数据文件，以获取数据的n个文件块信息；②、数据碎片化读取：根据文件块信息查找存储了相应文件块的云数据中心，并下载文件块；③、数据还原：通过密钥解密数据，得到原始数据。

【技术特征摘要】
1.一种基于纠删码的多云碎片化安全存储方法，其特征在于，包括多云数据中心的数据存储步骤和多云数据中心的数据读取步骤，所述的多云数据中心的数据存储步骤，包括数据碎片化步骤、数据分发步骤和数据条带存储步骤：1)、数据碎片化：对用户上传数据通过密钥进行加密，生成加密数据，然后将加密数据进行编码后生成多个文件块，并生成记录包括密钥在内的文件块信息的元数据文件；2)、数据分发：根据各个云数据中心的响应时间按照从小到大进行排序，将步骤1)中生成的文件块依次分发到排序后的各个云数据中心；3)、数据条带存储：每个云数据中心提供逻辑上连续的地址空间，同一个加密数据存储在不同云数据中心上的文件块形成一个条带组；所述的多云数据中心的数据读取步骤，包括元数据文件读取步骤、数据碎片化读取步骤和数据还原步骤；①、元数据文件读取：从元数据服务器中读取元数据文件，以获取数据的n个文件块信息；②、数据碎片化读取：根据文件块信息查找存储了相应文件块的云数据中心，并下载文件块；③、数据还原：通过密钥解密数据，得到原始数据。2.根据权利要求1所述的一种基于纠删码的多云碎片化安全存储方法，其特征在于，所述的数据碎片化步骤的具体步骤包括：首先，使用密钥为Key的对称加密算法对数据Data进行加密，生成加密数据Data′；其次，采用纠删码算法编码加密数据Data′，生成n个文件块，其中包括k个数据块和m个编码块，且n＝k+m；同时，产生一份Data′的元数据文件，元数据文件存储在元数据服务器中。元数据文件包括数据Data名称、大小，数据块个数k、编码块个数m、纠删码算法名称，密钥Key。3.根据权利要求1所述的一种基于纠删码的多云碎片化安全存储方法，其特征在于，所述的数据碎片化步骤中，还包括采用散列算法对用户上传数据Data进行哈希值运算，将得到的哈希值作为对称加密算法密钥Key的步骤。4.根据权利要求1所述的一种基于纠删码的多云碎片化安全存储方法，其特征在于，所述的数据分发步骤的具体步骤包括：云数据中心的数量为c个，c取自然数，按照响应时间大小，将云数据中心排序为{C1,C2,...,Cc}的集合C，将n个文件块分发存储到S个云数据中心，其中S∈C；若n＞c，则按照云数据中心排序的顺序依次分发存储文件块；若1≤n≤c，则选取前n个云数据中心分发存储文件块。5.根据权利要求1所述的一种基于纠删码的多云碎片化安全存储方法，其特征在于，所述的数据分发步骤中，响应时间θ＝Te-Tb，其中Te为相应的云数据中心开始接收第一个数据字节的时间，Tb为系统开始向相应的云数据中心发送请求时间。6.根据权利要求1所述的一种基于纠删码的多云碎片化安全存储方法，其特征在于，所述的数据碎片化读取步骤中，在下载文件块时，还...

【专利技术属性】
技术研发人员：龙军，朱宁斌，罗跃逸，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43