【技术实现步骤摘要】
【国外来华专利技术】一种网络存储系统、数据处理方法和客户端
本专利技术涉及数据存储领域，尤其涉及一种网络存储系统、数据处理方法和客户端。
技术介绍
分布式存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式系统是由若干个独立的数据节点组成的集合，每个数据节点可以是一个存储服务器。在分布式系统中各个数据节点中均可以进行数据存储且数据节点可以通过网络访问系统中其他数据节点上所存储的数据。在实际应用中，当需要获取分布式系统中的特定数据时，首先需要确定出该数据所在的数据节点位置，进而从该数据节点中获取到相应的数据。但是，当某数据节点的硬盘或者该数据节点出现故障时，则可能会导致该数据节点上所存储的数据丢失，进而影响到对相应数据的正常访问。可见，如何使得分布式系统的数据安全性，提高分布式系统的可靠性是本领域技术人员迫切需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供一种网络存储系统、数据处理方法和客户端，以提高数据存储的安全性和可靠性。为实现上述目的，本专利技术提供了如下技术方案:本专利技术的第一方面提供了一种网络存储系统，所述系统包括一个客户端和至少三个数据节点，所述数据节点之间通过网络连接，所述客户端与所述数据节点之间通过网络连接；其中，每个数据节点的存储区域被划分为至少一个存储单元，得到位于所述至少三个数据节点中的多个存储单...
【技术保护点】
一种网络存储系统，其特征在于，所述系统包括一个客户端和至少三个数据节点，所述数据节点之间通过网络连接，所述客户端与所述数据节点之间通过网络连接；其中，每个数据节点的存储区域被划分为至少一个存储单元，得到位于所述至少三个数据节点中的多个存储单元；所述多个存储单元被划归为多个网络逻辑单元；所述客户端，用于根据设定的RAID类型对目标数据进行切分，得到校验块和至少两个数据块；从所述多个网络逻辑单元中确定用于存储所述数据块和校验块的目标网络逻辑单元，并将所述数据块和校验块分别发送至所述目标网络逻辑单元中的多个存储单元所在的多个目标数据节点中；所述目标数据节点，用于接收所述客户端发送的数据块和/或校验块，并将所述数据块和/或校验块分别存储至所述目标数据节点中属于所述目标网络逻辑单元的存储单元中，以使得所述目标网络逻辑单元的任一存储单元内均存储有所述数据块中的一个数据块或所述校验块。
【技术特征摘要】
【国外来华专利技术】1.一种网络存储系统，其特征在于，所述系统包括一个客户端和至少三个数据节点，所述数据节点之间通过网络连接，所述客户端与所述数据节点之间通过网络连接； 其中，每个数据节点的存储区域被划分为至少一个存储单元，得到位于所述至少三个数据节点中的多个存储单元；所述多个存储单元被划归为多个网络逻辑单元； 所述客户端，用于根据设定的RAID类型对目标数据进行切分，得到校验块和至少两个数据块；从所述多个网络逻辑单元中确定用于存储所述数据块和校验块的目标网络逻辑单元，并将所述数据块和校验块分别发送至所述目标网络逻辑单元中的多个存储单元所在的多个目标数据节点中； 所述目标数据节点，用于接收所述客户端发送的数据块和/或校验块，并将所述数据块和/或校验块分别存储至所述目标数据节点中属于所述目标网络逻辑单元的存储单元中，以使得所述目标网络逻辑单元的任一存储单元内均存储有所述数据块中的一个数据块或所述校验块。2.根据权利要求1所述的系统，其特征在于，所述网络逻辑单元中所包含的多个存储单元均属于不同的数据节点。3.根据权利要求1所述的系统，其特征在于，所述客户端，具体用于从所述多个网络逻辑单元中，确定支持所述RAID类型的目标网络逻辑单元，以利用所述目标网络逻辑单元中的多个存储单元存储所述数据块和所述校验块。4.根据权利要求1或3所述的系统，其特征在于，所述客户端，具体用于计算所述目标数据的第一哈希值，根据所述第一哈希值确定用于存储所述数据块和校验块的目标网络逻辑单元，所述目标网络逻辑单元所支持的哈希值范围包含所述第一哈希值。5.根据权利要求1或3所述的系统，其特征在于，所述客户端，具体用于根据所述目标数据的第一文件名确定用于存储所述数据块和校验块的目标网络逻辑单元，所述目标网络逻辑单元所支持的文件名中包`含所述第一文件名。6.根据权利要求1所述的系统，其特征在于，所述多个目标数据节点中的至少一个目标数据节点，还用于从所述多个目标数据节点中，获取所述目标网络逻辑单元中的各个存储单元对所述数据块和校验块的存储状态信息，将获取到的所述存储状态信息发送给其他目标数据节点，使得各个目标数据节点保存所述存储状态信息，其中，所述存储状态信息中包括各个存储单元所存储的数据块或校验块的数量信息。7.根据权利要求3所述的系统，其特征在于，所述系统还包括:元数据节点； 所述客户端还用于:在根据设定的RAID类型对目标数据进行切分，得到所述校验块和至少两个数据块之后，将所述目标数据与所述RAID类型的对应关系发送至所述元数据节占.所述元数据节点，用于存储所述目标数据与所述RAID类型的对应关系。8.根据权利要求7所述的系统，其特征在于，所述客户端，还用于从所述元数据节点中获取所述目标数据与所述RAID类型的对应关系，确定支持所述RAID类型的所述目标网络逻辑单元，并向所述目标网络逻辑单元的各个存储单元所在的目标数据节点发送读取所述目标数据的请求； 所述目标数据节点，还用于在接收到所述客户端读取所述目标数据的请求时，从属于所述目标网络逻辑单元的存储单元中读取所存储的所述目标数据的数据块和/或校验块，并将读取到的数据块和/或校验块发送给所述客户端。9.根据权利要求1、2、3或6任一项所述的系统，其特征在于，所述目标数据节点，还用于获取所述目标网络逻辑单元中的各个存储单元对所述数据块和校验块的存储状态信息；当根据所述存储状态信息确定出所述目标网络逻辑单元中存在对所述数据块或校验块存储异常的存储单元时，根据所述目标网络逻辑单元中未出现存储异常的存储单元内所存储的数据块和校验块，恢复出所述出现存储异常的存储单元内的数据块或校验块，其中，所述存储状态信息中包括存储单元所存储的数据块或校验块的数量信息。10.根据权利要求9所述的系统，其特征在于，所述目标数据节点具体用于，当根据所述存储状态信息确定出所述目标网络逻辑单元中存在丢失所存储的数据块或校验块的第一存储单元时，利用所述目标网络逻辑单元中未丢失所存储的数据块或校验块的各个存储单元内所存储的数据块和校验块，恢复出所述第一存储单元内所丢失的数据块或校验块。11.根据权利要求9所述的系统，其特征在于， 所述目标数据节点具体用于，当根据所述存储状态信息，确定出所述目标网络逻辑单元中存在所存储的数据块或校验块的数量多于一个的第二存储单元时，利用所述目标网络逻辑单元中不属于所述第二存储单元的各个存储单元内所存储的数据块和校验块构建出所述目标数据； 获取所述客户端切分所述目标数据所依据的所述RAID类型，依据所述RAID类型对构建出的所述目标数据进行重新切分，并依据重新切分得到的数据块和校验块，确定所述第二存储单元所应存储的数据块或校验块。12.根据权利要求9所述的系统，其特征在于， 所述目标数据节点具体用于，当根据所述存储状态信息，存在丢失所存储的数据块或校验块的第一存储单元和存储的数据块或校验块的数量多于一个的第二存储单元时，指示所述第二存储单元所在的数据节点，将所述第二存储单元中多出的数据块或校验块发送至所述第一存储单元所在的目标数据节点，以便所述第一存储单元所在的目标数据节点将接收到的数据块或校验块存储至所述第一存储单元。13.一种数据处理方法，其特征在于，应用于包括至少三个数据节点的网络存储系统，所述数据节点之间通过网络连接，所述数据节点的存储区域被划分为至少一个存储单元，得到位于所述至少三个数据节点中的多个存储单元，且所述多个存储单元被划归为多个网络逻辑单元，所述方法包括: 根据设定的RAID类型对目标数据进行切分，得到校验块和至少两个数据块； 从所述多个网络逻辑单元中确定用于存储所述数据块和校验块...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。