一种基于云存储的数据分散存储系统技术方案

本发明专利技术公开了一种基于云存储的数据分散存储系统，涉及数据存储技术领域。本发明专利技术包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，处理器将除重后的数据信息进行数据布局并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。本发明专利技术通过对数据进行处理得到除重后数据信息，并获得数据引用率，通过数据引用率判断该段数据信息属性，采用基于复制的数据分布策略对数据信息进行存储从而降低处理器所需的运算步骤；采用基于纠删码的数据布局策略从而能够获得较高的存储效率。

A distributed data storage system based on cloud storage

The invention discloses a data dispersed storage system based on cloud storage, and relates to the field of data storage technology. The invention includes a client, a data removal module, a processor, a data reference monitoring device, a first cloud storage device, a second cloud storage device, and a third cloud storage device. The data removal module receives the data information uploaded by the client and removes the data information by repeating the data. The processor will remove the weight after the weight removal. According to information, data layout is stored in the first cloud storage device, the second cloud storage device and the third cloud storage device. By processing the data, the data information is obtained and the data reference rate is obtained. The data information attribute is judged by the reference rate of the data. The data information is stored by the replication based data distribution strategy to reduce the processing steps required by the processor, and the data layout strategy based on erasure code is adopted. A little better storage efficiency can be obtained.

【技术实现步骤摘要】
一种基于云存储的数据分散存储系统
本专利技术属于数据存储
，特别是涉及一种基于云存储的数据分散存储系统。
技术介绍
随着数据的爆炸式增长，数据存储系统如何对海量数据有效的进行查询、写入等处理成为了数据存储领域的研究重点。数据存储系统是指由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备和处理算法所组成的系统。随着存储数据越来越多，存储系统的存储空间也越来越大，对数据存储系统的处理性能要求也越来越高。目前数据存储的方式主要是通过设置一大型数据库来专用的存储海量数据，这种数据存储方式，虽然可通过大型数据库满足海量数据的高存储量要求，但从大型数据库中查询、写入某一数据的效率大幅的降低，牺牲了数据处理效率，因此，提供一种基于云存储的数据分散存储系统，解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于云存储的数据分散存储系统，通过客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置的设置，解决了现有的海量数据高存储量情况下数据处理效率低、安全性能差的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种基于云存储的数据分散存储系统，包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；其中，所述客户端向数据除重模块上传所需存储的数据信息；所述数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，所述数据除重模块用于将除重后的数据信息传输到处理器；其中，所述处理器与数据引用监控装置电连接，所述数据引用监控装置与数据除重模块电连接；所述数据引用监控装置用于自动获取数据信息的引用率并将其传输到处理器；所述处理器接收数据除重模块传输的除重后的数据信息；所述处理器接收数据引用监控装置传输的数据信息引用率，所述处理器将除重后的数据信息进行数据布局并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。进一步地，所述重复数据删除包括如下步骤：SS01：对所有数据进行自动检索并进行分块；SS02：采用基于块级的数据分块监测技术自动从数据信息中判断出重复数据信息；SS03：对重复数据信息进行删除并保留重复数据信息的单一副本，并使用指向单一副本的指针替换其他重复的副本；SS04：得到除重之后的数据信息。进一步地，所述数据布局包括如下步骤：S1：处理器通过数据引用监控装置自动获取数据除重模块在对数据信息除重时获取到的数据信息引用率；S2：处理器将数据信息引用率与引用率预设值进行比较，当数据信息引用率大于引用率预设值时采用基于复制的数据分布策略对数据信息进行存储；S3：当数据信息引用率小于等于引用率预设值时采用基于纠删码的数据布局策略；S4：将数据信息存储到第一云存储装置、第二云存储装置、第三云存储装置。进一步地，所述基于块级的数据分块监测技术采用基于定长的数据分块技术。本专利技术具有以下有益效果：1、本专利技术通过数据除重模块的设置，能够对数据进行处理得到除重之后的数据信息，并通过数据除重模块得到数据的引用率，通过数据的引用率来判断该段数据信息是热点信息还是一般信息，对于经常会被用户访问的热点信息，采用基于复制的数据分布策略对数据信息进行存储从而降低处理器所需的运算步骤；而对于一般信息则可采用基于纠删码的数据布局策略从而能够获得较高的存储效率。2、本专利技术通过多个云存储装置的设置，在最大程度上实现信息的安全存储，避免云盘存储数据丢失的问题，极大程度上保护了人们的信息安全；本专利技术简单有效，易于使用。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于云存储的数据分散存储系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1所示，本专利技术为一种基于云存储的数据分散存储系统，包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；其中，客户端向数据除重模块上传所需存储的数据信息；数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，数据除重模块用于将除重后的数据信息传输到处理器；其中，处理器与数据引用监控装置电连接，数据引用监控装置与数据除重模块电连接；数据引用监控装置用于自动获取数据信息的引用率并将其传输到处理器；处理器接收数据除重模块传输的除重后的数据信息；处理器接收数据引用监控装置传输的数据信息引用率，处理器将除重后的数据信息进行数据布局并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。其中，重复数据删除包括如下步骤：SS01：对所有数据进行自动检索并进行分块；SS02：采用基于块级的数据分块监测技术自动从数据信息中判断出重复数据信息；SS03：对重复数据信息进行删除并保留重复数据信息的单一副本，并使用指向单一副本的指针替换其他重复的副本；SS04：得到除重之后的数据信息。其中，数据布局包括如下步骤：S1：处理器通过数据引用监控装置自动获取数据除重模块在对数据信息除重时获取到的数据信息引用率；S2：处理器将数据信息引用率与引用率预设值进行比较，当数据信息引用率大于引用率预设值时采用基于复制的数据分布策略对数据信息进行存储；S3：当数据信息引用率小于等于引用率预设值时采用基于纠删码的数据布局策略；S4：将数据信息存储到第一云存储装置、第二云存储装置、第三云存储装置。其中，基于块级的数据分块监测技术采用基于定长的数据分块技术。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上公开的本专利技术优选实施例只是用于帮助阐述本专利技术。优选实施例并没有详尽叙述所有的细节，也不限制该专利技术仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本专利技术的原理和实际应用，从而使所属
技术人员能很好地理解和利用本专利技术。本专利技术仅受权利要求书及其全部范围和等效物的限制。本文档来自技高网...

【技术保护点】
一种基于云存储的数据分散存储系统，其特征在于，包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；其中，所述客户端向数据除重模块上传所需存储的数据信息；所述数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，所述数据除重模块用于将除重后的数据信息传输到处理器；其中，所述处理器与数据引用监控装置电连接，所述数据引用监控装置与数据除重模块电连接；所述数据引用监控装置用于自动获取数据信息的引用率并将其传输到处理器；其中，所述处理器接收数据除重模块传输的除重后的数据信息；所述处理器接收数据引用监控装置传输的数据信息引用率，所述处理器将除重后的数据信息进行数据布局，并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。

【技术特征摘要】
1.一种基于云存储的数据分散存储系统，其特征在于，包括客户端、数据除重模块、处理器、数据引用监控装置、第一云存储装置、第二云存储装置、第三云存储装置；其中，所述客户端向数据除重模块上传所需存储的数据信息；所述数据除重模块接收客户端上传的数据信息并通过重复数据删除对数据信息进行除重，所述数据除重模块用于将除重后的数据信息传输到处理器；其中，所述处理器与数据引用监控装置电连接，所述数据引用监控装置与数据除重模块电连接；所述数据引用监控装置用于自动获取数据信息的引用率并将其传输到处理器；其中，所述处理器接收数据除重模块传输的除重后的数据信息；所述处理器接收数据引用监控装置传输的数据信息引用率，所述处理器将除重后的数据信息进行数据布局，并分别存储到第一云存储装置、第二云存储装置和第三云存储装置。2.根据权利要求1所述的一种基于云存储的数据分散存储系统，其特征在于，所述重复数据删除包括如下步骤：SS01：对所有数据进行自动...

【专利技术属性】
技术研发人员：黄仁高，
申请(专利权)人：安徽长泰信息安全服务有限公司，
类型：发明
国别省市：安徽,34