基于网络存储设备集群的数据分布式存储方法及装置制造方法及图纸

本申请公开了一种基于网络存储设备集群的数据分布式存储方法及装置。该方法包括在多个网络存储设备之间建立第一连接；以及在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。本申请通过将网络存储设备组成分布式存储集群，解决了公有云和私有云存储成本高的问题。此外，还能够解决集中式存储的单点稳定性、可用性和扩展性问题以及解决分布式存储的分布式节点性能差异问题。本申请适用于将网络中不同类型的存储设备通过应用软件集合起来协同工作，对外提供数据存储和业务访问功能的云存储系统。

Data Distributed Storage Method and Device Based on Network Storage Device Cluster

【技术实现步骤摘要】
基于网络存储设备集群的数据分布式存储方法及装置
本申请涉及计算机存储领域，具体而言，涉及一种基于网络存储设备集群的数据分布式存储方法及装置。
技术介绍
针对企业客户或个人用户的本地存储资源如计算机、移动硬盘、USB闪存、网络存储设备(英文全称：NetworkAttachedStorage，简称：NAS)等均存在资源和访问的局限，通过使用云存储的可以让使用者在任何时间、地点，通过可连网并安装云存储应用的装置，方便地访问云存储空间和存取数据。专利技术人发现，云存储存在存储成本高的问题。进一步，还存在集中式存储节点的单点稳定性、扩展性的问题，分布式存储节点性能差异的问题。针对相关技术中存储成本高的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种基于网络存储设备集群的数据分布式存储方法及装置，以解决存储成本高的问题。为了实现上述目的，根据本申请的一个方面，提供了一种基于网络存储设备集群的数据分布式存储方法。根据本申请的基于网络存储设备集群的数据分布式存储方法包括：在多个网络存储设备之间的建立第一连接；以及在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。进一步地，在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括：将数据进行分块、分发的步骤，所述将数据进行分块、分发的步骤具体包括：在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略，对所述数据进行冗余纠错编码得到编码数据对象；将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备，并将冗余存储至第N+1个和/或第N+2个网络存储设备中，其中，N为自然数；将用于数据分块存储的所述网络存储设备和相应的存储位置，记录在所述预设服务器，以使所述预设服务器可根据所述存储位置进行寻址。进一步地，在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群后，建立数据的分块分发策略，所述分块分发策略的建立方法具体包括：通过在预设服务器初始化后配置预设参数的多维度权重；获取每个所述网络存储设备上报的预设参数；根据预设参数和所述多维度权重，对对每个所述网络存储设备打分；将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。进一步地，在多个网络存储设备之间的建立第一连接包括：在多个网络存储设备之间的建立P2P连接；在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群包括：在预设服务器和每个所述网络存储设备之间建立长连接，以使所述网络存储设备组成分布式存储集群。进一步地，在多个网络存储设备之间的建立第一连接包括：在多个网络存储设备之间的建立P2P(Peer-to-Peer)连接；在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群包括：在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接，以使所述网络存储设备组成分布式存储集群。为了实现上述目的，根据本申请的另一方面，提供了一种基于网络存储设备集群的数据分布式存储装置。根据本申请的基于网络存储设备集群的数据分布式存储装置包括：第一建立模块，在多个网络存储设备之间的建立第一连接；以及第二建立模块，用于在信令服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。进一步地，所述装置还包括：分块以及分发模块，所述分块以及分发模块包括：冗余纠错编码单元，用于在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略，对所述数据进行冗余纠错编码得到编码数据对象；划分单元，用于将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备，并将冗余存储至第N+1个和/或第N+2个网络存储设备中，其中，N为自然数；记录单元，用于将用于数据分块存储的所述网络存储设备和相应的存储位置，记录在所述预设服务器，以使所述预设服务器可根据所述存储位置进行寻址。进一步地，装置还包括：分块分发策略模块，所述分块分发策略模块包括：权重单元，用于通过在预设服务器初始化后配置预设参数的多维度权重；获取单元，用于获取每个所述网络存储设备上报的预设参数；打分单元，用于根据预设参数和所述多维度权重，对每个所述网络存储设备打分；分发单元，用于将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。进一步地，所述第一建立模块包括：P2P单元，所述第二建立模块包括：长连接单元，P2P单元，用于在多个网络存储设备之间的建立P2P连接；第一配置单元，用于在预设服务器和每个所述网络存储设备之间建立长连接，以使所述网络存储设备组成分布式存储集群。进一步地，所述第二建立模块包括：P2P单元，所述第二建立模块包括：配置单元，P2P单元，用于在多个网络存储设备之间的建立P2P连接；第二配置单元，用于在至少包括索引和信令服务器中和每个所述网络存储设备之间建立长连接，以使所述网络存储设备组成分布式存储集群。在本申请实施例中基于网络存储设备集群的数据分布式存储方法及装置，采用在多个网络存储设备之间的建立第一连接的方式，通过在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，达到了搭建分布式存储集群的目的，进而解决了集中式存储成本高的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例中的基于网络存储设备集群的数据分布式存储方法示意图；图2是根据本申请第二实施例中的基于网络存储设备集群的数据分布式存储方法示意图；图3是根据本申请第三实施例中的基于网络存储设备集群的数据分布式存储方法示意图；图4是根据本申请第四实施例中的基于网络存储设备集群的数据分布式存储方法示意图；图5是根据本申请第五实施例中的基于网络存储设备集群的数据分布式存储方法示意图；图6是根据本申请第一实施例中的基于网络存储设备集群的数据分布式存储装置示意图；图7是根据本申请第二实施例中的基于网络存储设备集群的数据分布式存储装置示意图；图8是根据本申请第三实施例中的基于网络存储设备集群的数据分布式存储装置示意图；图9是根据本申请第四实施例中的基于网络存储设备集群的数据分布式存储装置示意图图10是根据本申请第五实施例中的基于网络存储设备集群的数据分布式存储装置示意图；图11是新型分布式存储集群结构示意图；图12是将文件/数据分块、分发流程示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描本文档来自技高网...

【技术保护点】
1.一种基于网络存储设备集群的数据分布式存储方法，其特征在于，包括：在多个网络存储设备之间建立第一连接；以及在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。

【技术特征摘要】
1.一种基于网络存储设备集群的数据分布式存储方法，其特征在于，包括：在多个网络存储设备之间建立第一连接；以及在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。2.根据权利要求1所述的数据分布式存储方法，其特征在于，在预设服务器和多个所述网络存储设备之间建立第二连接之后还包括：将数据进行分块、分发的步骤，所述将数据进行分块、分发的步骤具体包括：在所述分布式存储集群中的所述网络存储设备根据所述预设服务器上配置的分块策略，对所述数据进行冗余纠错编码得到编码数据对象；将所述编码数据对象划分为多个数据分块存储在第N个网络存储设备，并将冗余存储至第N+1个和/或第N+2个网络存储设备中，其中，N为自然数；将用于数据分块存储的所述网络存储设备和相应的存储位置，记录在所述预设服务器，以使所述预设服务器可根据所述存储位置进行寻址。3.根据权利要求1或2所述的数据分布式存储方法，其特征在于，在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群后，建立数据的分块分发策略，所述分块分发策略的建立方法具体包括：通过在预设服务器初始化后配置预设参数的多维度权重；获取每个所述网络存储设备上报的预设参数；根据预设参数和所述多维度权重，对每个所述网络存储设备打分；将所述数据的分块优先分发至获取打分分值高的所述网络存储设备。4.根据权利要求1所述的数据分布式存储方法，其特征在于，在多个网络存储设备之间的建立第一连接包括：在多个网络存储设备之间的建立P2P，Peer-to-Peer连接；在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群包括：在预设服务器和每个所述网络存储设备之间建立长连接，以使所述网络存储设备组成分布式存储集群。5.根据权利要求1所述的数据分布式存储方法，其特征在于，在多个网络存储设备之间的建立第一连接包括：在多个网络存储设备之间的建立P2P连接；在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群包括：在至少包括索引和信令服务器中和每个所述网...

【专利技术属性】
技术研发人员：秦江波，
申请(专利权)人：北京猫盘技术有限公司，
类型：发明
国别省市：北京,11