一种存储用户自定义的数据存储方法、系统及装置制造方法及图纸

本发明专利技术提供了一种存储用户自定义的数据存储方法，所述的方法为：用户主动发起数据存储请求，新建存储空间并自定义存储方式，然后将需要存储的数据按照存储方式存储到建立的存储空间内。在对象存储用户层，实现了可配置的数据冗余保护方式，让不同的用户根据自己的需要，对自己分配到的存储空间，选择自己的需要的冗余方式进行数据的存储。本发明专利技术还提供由方法产生的系统，以及和方法配合使用的装置。

A Method, System and Device for Storing User-defined Data

The invention provides a method for storing user-defined data storage. The method is that the user initiates a data storage request actively, creates a new storage space and customizes the storage mode, and then stores the stored data in the established storage space according to the storage mode. In the object storage user layer, the configurable data redundancy protection mode is realized, so that different users can choose their own redundancy mode to store data according to their own needs and their own allocated storage space. The invention also provides a system generated by the method and a device used in conjunction with the method.

【技术实现步骤摘要】
一种存储用户自定义的数据存储方法、系统及装置
本专利技术涉及数据存储领域，更具体地说，涉及一种存储用户自定义的数据存储方法、系统及装置。
技术介绍
AmazonS3是一种面向Internet的存储服务，它是一种简单存储服务，以很低的成本为软件开发人员提供高度可扩展的、可靠的、低延迟的存储基础设施。如图1所示，AmazonS3对象存储从上往下依次是租户、用户、桶、对象，开发人员可以很方便的使用S3协议来操作对象存储的数据，获取相应的存储服务。存储服务提供商可以通过多租户的功能，建立不同的用户，并且使用用户配额功能，对用户的存储空间进行设置。现有的对象存储的冗余方式有多副本、纠删码两种，虽然可以通过不同租户来实现存储用户资源的隔离，但用户所有产生的数据都采用同一种数据冗余方式进行存储，如图2所示，由此会导致重要程度不一样的数据采用相同的冗余方式保护，誓必会导致用户存储空间的浪费。
技术实现思路
针对以上缺点，本专利技术提出一种存储用户自定义的数据存储方法、系统及装置，在对象存储用户层，实现了可配置的数据冗余保护方式，让不同的用户根据自己的需要，对自己分配到的存储空间，选择自己的需要的冗余方式进行数据的存储。本专利技术实施例提供了一种存储用户自定义的数据存储方法，所述的方法为：用户主动发起数据存储请求，新建存储空间并自定义存储方式，然后将需要存储的数据按照存储方式存储到建立的存储空间内。进一步的，所述的存储空间建立在存储资源池内，所述的存储资源池包括若干物理机，每台物理机内的存储空间划分为若干存储区块。进一步的，所述的自定义数据存储方式，通过将一份源数据与不同数量的副本数据或纠删数据搭配实现。进一步的，在数据存储的过程中，采用分布式Hash算法实现数据的存储过程。利用本上述的方法，本专利技术实施例还提供了一种存储用户自定义的数据存储系统，所述的系统包括：租户层，设有租户端口，用来创建和管理用户层内的各个用户；用户层，设有用户端口，用来建立存储空间、自定义数据存储方式；存储层，包括存储资源池内的若干区块，用以存储数据。进一步的，存储层内的同一区块内存储相同的数据类型，且该数据类型由用户层进行定义。进一步的，所述的数据类型包括以下三种：源数据、副本数据和纠删数据。为了实现本申请的方法，本专利技术实施例还提供了一种存储用户自定义的数据存储装置，所述的装置包括：申请模块，用以向管理模块发送存储空间建立请求；管理模块，用以管理并分配存储空间；自定义模块，根据数据的类型，设置数据在存储空间内的存储方式；存储模块，用以通过分布式Hash算法，对数据进行存取。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术针对之前分布式对象存储冗余方式中不可选的冗余方式，做了新的改进与尝试，实现了用户级别的数据冗余可选，使用户在处理不同重要程度数据时，更加灵活高效。解决了非重要数据潜在冗余方案数据空间的浪费问题。附图说明图1是现有技术的系统架构图；图2是现有技术的存储原理图；图3是本专利技术方法的流程图；图4是本专利技术系统的原理图；图5是本专利技术装置的原理图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。实施例如图3所示，本专利技术实施例提供了一种存储用户自定义的数据存储方法，所述的方法包括以下步骤：1)用户主动发起数据存储请求，新建一个或多个用以存储数据的存储空间，所述的存储空间建立在存储资源池内，所述的存储资源池包括若干物理机，每台物理机内的存储空间划分为若干存储区块。2)用户在存储空间内自定义存储方式，通过将一份源数据与不同数量的副本数据或纠删数据搭配实现该过程。3)用户将需要存储的数据按照存储方式存储到建立的存储空间内。该过程通过采用分布式Hash算法实现。Hash可以通过散列函数将任意长度的输入变成固定长度的输出，也可以将不同的输入映射成为相同的相同的输出，而且这些输出范围也是可控制的，所以起到了很好的压缩映射和等价映射功能。这些特性被应用到了信息安全领域中加密算法，其中等价映射这一特性在海量数据解决方案中起到相当大的作用。Hash的这种压缩映射和等价映射功能，主要是因为Hash函数在实现上都使用到了取模。下面看看几种常用的Hash函数：1)直接取余法：f(x):＝xmodmaxM；maxM一般是不太接近2^t的一个质数。2)乘法取整法：f(x):＝trunc((x/maxX)*maxlongit)modmaxM，主要用于实数。3)平方取中法：f(x):＝(x*xdiv1000)mod1000000)；平方后取中间的，每位包含信息比较多。处理海量数据的大体主流思想，都是采取分而治之的方法，将海量数据切分为若干小份来进行处理，并且在处理的过程中要兼顾内存的使用情况和处理并发量情况。而更加仔细的处理流程大体上分为几步(对大多数情况都适用，其中少部分情况要根据你自己的实际情况和其他解决方法做比较采用最符合实际的方法)。第一步：采用Hash取模进行等价映射。采用这种方法可以将巨大的文件进行等价分割(注意：符合一定规律的数据要被分割到同一个小文件)变成若干个小文件再进行处理。这个方法针对数据量巨大，内存受到限制时十分有效。第二步：利用hashMap在内存中进行统计。我们通过Hash映射将大文件分割为小文件后，就可以采用HashMap这样的存储结构来对小文件中的关注项进行频率统计。具体的做法是将要进行统计的Item作为HashMap的key，此Item出现的次数作为value。第三步：在上一步进行统计完毕之后根据场景需求往往需要对存储在HashMap中的数据根据出现的次数来进行排序。其中排序我们可以采用堆排序、快速排序、归并排序等方法。利用本上述的方法，本专利技术实施例还提供了一种存储用户自定义的数据存储系统，如图4所示，所述的系统包括租户层、用户层和存储层。所述的租户层设有租户端口，用来创建和管理用户层内的各个用户。一个租户端口对应多个用户。所述的用户层设有用户端口，除了管理存储过程以外，还可以用来建立存储空间，并自定义数据存储方式。所述的存储层是一个动态变化的层，不仅仅是因为数据的不断存取，更主要的是存储层内包含存储资源池内的若干区块，每一个区块存储的数据类型是不同的，而且每一区块存储什么数据，是可以通过用户层进行实时调整的，因此，整个存储层状态取决于用户层的设定，使得用户可以自定义存储方式。需要注意的是，存储层内的同一区块内存储相同的数据类型，一般来说，所述的数据类型包括以下三种：源数据、副本数据和纠删数据。其中，源数据指的是需要存储的数据本身。副本数据指的是源数据的备份数据，通过将源数据块创建副本分别存储到不同的节点上保证数据安全，通过数据强一致性保证数据安全可本文档来自技高网...

【技术保护点】
1.一种存储用户自定义的数据存储方法，其特征在于，所述的方法为：用户主动发起数据存储请求，新建存储空间并自定义存储方式，然后将需要存储的数据按照存储方式存储到建立的存储空间内。

【技术特征摘要】
1.一种存储用户自定义的数据存储方法，其特征在于，所述的方法为：用户主动发起数据存储请求，新建存储空间并自定义存储方式，然后将需要存储的数据按照存储方式存储到建立的存储空间内。2.根据权利要求1所述的一种存储用户自定义的数据存储方法，其特征在于，所述的存储空间建立在存储资源池内，所述的存储资源池包括若干物理机，每台物理机内的存储空间划分为若干存储区块。3.根据权利要求1所述的一种存储用户自定义的数据存储方法，其特征在于，所述的自定义数据存储方式，通过将一份源数据与不同数量的副本数据或纠删数据搭配实现。4.根据权利要求1所述的一种存储用户自定义的数据存储方法，其特征在于，在数据存储的过程中，采用分布式Hash算法实现数据的存储过程。5.一种存储用户自定义的数据存储系统，该系统由权1所述的方法建立，所述的系统包括租户层和用户层，所述的租...

【专利技术属性】
技术研发人员：白学余，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41