一种基于用户协作云的云存储系统技术方案

一种基于用户协作云的云存储系统，用户访问层为用户提供个人网盘、数据备份、数据归档、数据存储报务；应用接口层为用户提供互联网的网络接入后，进行用户认证和初始化，完成用户的权限管理、文件分块及文件加密操作；数据管理层完成对文件的管理，通过P2P的路由功能把分块存储到系统确定的存储节点中，完成系统数据备份及副本管理功能；数据存储层形成具有海量存储资源的用户协作云。本发明专利技术能够充分利用互联网用户自身闲散存储资源，在P2P技术基础上通过分布式文件系统对这些资源按云存储要求加以组织、管理和调度，为用户提供文件管理和存储的服务，并提供数据安全保障，构建满足用户需求的云存储系统。

【技术实现步骤摘要】
【专利摘要】一种基于用户协作云的云存储系统，用户访问层为用户提供个人网盘、数据备份、数据归档、数据存储报务；应用接口层为用户提供互联网的网络接入后，进行用户认证和初始化，完成用户的权限管理、文件分块及文件加密操作；数据管理层完成对文件的管理，通过P2P的路由功能把分块存储到系统确定的存储节点中，完成系统数据备份及副本管理功能；数据存储层形成具有海量存储资源的用户协作云。本专利技术能够充分利用互联网用户自身闲散存储资源，在P2P技术基础上通过分布式文件系统对这些资源按云存储要求加以组织、管理和调度，为用户提供文件管理和存储的服务，并提供数据安全保障，构建满足用户需求的云存储系统。【专利说明】—种基于用户协作云的云存储系统
本专利技术涉及云存储
，具体是一种基于用户协作云的云储存系统。
技术介绍
当前以数据中心为基础的云存储系统，其数据访问模式沿用缺少交互、被动管控的主从模式，其内部组织依赖传统的分层体系结构，随着数据中心规模的发展，面对网络存储应用日趋复杂，当应用需求发生变化时，存储系统难以做出相应满足，基于数据中心的云存储系统将面临如下几个方面的问题(以GFS为例):(I)集中式元数据管理瓶颈问题。GFS最初设计的存储容量是百万到千万GB级的大文件，随着数据中心的发展，现有文件数量已经达到百亿量级，2?3年后可能达到万亿量级。对于如此庞大的文件数量，GFS依赖单个元数据服务器的内存来管理整个文件系统的所有元数据信息的集中式处理已经不能满足需求，集中管理已经成为瓶颈，系统访问性能急剧下降。面对这些问题，谷歌新一代的文件系统Colossus已经采用分布式元数据管理和备份恢复等技术来尽量避免，但是系统生而有之的缺陷仍末得到根本性的解决。(2)小文件高度并发访问导致性能下降问题。网上大量交互式用户产生了大量、高度并发的访问，如网上购物的商品图片、社交网络的照片、邮件等。这些访问的文件小，大多不超过1MB，具有高并发、交互式访问的特征，因此需要高吞吐率和低访问延迟来满足需求。而GFS和传统文件系统在访问一个文件时需要多次磁盘访问和多次网络传输，这难以满足低延迟的需求。Facebook和淘宝分别开发了专用文件系统来构建相应的云存储系统，如Haystack和Oceanbase。但这些文件系统与特定应用的稱合度高，定制性强，对文件系统的很多操作接口都不支持，因此它们虽然在特定访问模式下的性能比较高，但适应性差。(3)存储成本较高问题。GFS的存储成本主要来自它的容错机制，由于GFS是运行于低成本和较低可靠性的硬件上，因此通过多副本来保障数据的可靠性和可用性。每个数据在GFS中通常保存3个副本，这导致存储成本提高了 3倍。目前产业界也在尝试各种方法来降低存储的成本。例如，将数据压缩后再存储，或采用纠删码(Erasure Code)。(4)多个数据中心构成全局数据视图带来的问题。GFS是针对一个数据中心的数据存储，在多数据中心下将存在如何放置和移动数据，如何保证数据一致性等问题。综上所述，针对目前以数据中心为基础的云存储系统，存在访问性能瓶颈，主从访问模式灵活性不足等问题，特别是用户对“云”中海量存储需求不断增长，导致云计算面临海量存储资源高效管理和精确定位等突出问题。目前，网络海量存储系统在向大规模存储异质异构方向发展，这需要融合不同层次、不同类型的器件、设备、子系统、区域的存储单元组建大规模海量网络存储系统。P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储空间、网络带宽等)，这些共享资源需要通过网络连接，使对等节点(Peer)之间能直接访问到对方的资源而无需经过中间实体。网络的参与者既是资源提供者，又是资源获取者。P2P网络的一个重要的目标就是让所有的客户端都能提供资源，包括带宽，存储空间和计算能力。因此，当不断有节点加入且对系统请求增多时，整个系统的容量也随之增大。P2P网络具有如下特点:1.首先，P2P网络已实现无中心服务器，可以很好的分散网络的数据存储以及搜索等操作的计算压力。2.P2P网络具有极佳的自适应性，可针对不同文件的访问量，自动调节数据的冗余度，并使得热门资源的可下载源自动增加，网络始终处于一种动态平衡中。节点的加入与退出也无需对应用做任何调整，网络可以实现高度的自由组网与自治管理的能力，系统的资源可得到透明化的动态扩充。3.P2P网络本身具有备份与共享的概念，用户可以从任意具有用户所要文件的节点下载数据，只要有同一个文件索引，用户也可以在不同的终端和地点，下载同一个文件，并且，通过对文件索引的自动数据校验功能(散列计算)，用户可以确认下载的文件是否是同一个版本的文件。从上述可知，P2P存储节点以功能对等方式组成存储网络，既可以是完全由统一管辖的服务器节点以对等方式组成封闭式对等网络存储系统，又可以是完全由客户端组成的开放式对等网络存储系统，还可以是服务器与客户端共同以对等方式组成的混合存储系统。因此，P2P存储技术可用来组织大型存储服务系统，将P2P存储系统融入主要以数据中心为主的云存储系统，组建网络海量数据存储体系，可以提高存储性能和效率，改善存储系统的可扩展性及健壮性。同时，从目前互联网用户的硬盘使用情况来看，多数用户可以提供自身30%左右闲散存储资源，如果采用一定激励机制来引导其贡献自己的存储空间，并对这些存储加以统一组织管理与利用，那么这些普通互联网用户的存储空间将成为文件存储的基本实体和路由转发的中间节点。但是，P2P技术并不具有云存储特点，不能提供云存储服务，相对于云存储它具有如下的明显弱点:1.用户对自有文件的可管理性:目前的P2P网络是针对文件共享下载的，而不是针对个人数据备份的，对于下载完成后的文件，不具可管理性，可没有办法对于不同设备/终端上的文件版本进行有效控制。2.用户私有文件的安全性问题:P2P网络没有私有文件属性的安全管理机制，如果文件加入了 P2P网络，那么，它将对所有访问者公开，当然，它是极易被获取的。3.加入网络中的文件，都是以文件的原始形式存在的，只要找到文件索引，任何文件都可被轻易下载并还原，而恰恰，文件索引本身就是公开的，这对于查找文件是件好事，但是对私有文件，这是极其不安全的。4.典型P2P技术只能保证热门资源不断源，即下载的人越多，分享的人也就越多，但对于冷门资源，则往往找不到源，或来源断断续续，不稳定，通常要花几天的时间才能下载完文件的所有部分。这对于私有文件的备份与同步是不可接受的，这些文件往往使用频率高，同步实时性要求强。
技术实现思路
本专利技术的目的在于提供一种基于用户协作云的云存储系统及其构建方法，充分利用数以亿计互联网用户自身闲散存储资源，在P2P技术基础上通过分布式文件系统对这些资源按云存储要求加以组织、管理和调度，为用户提供文件管理和存储的服务，并提供数据安全保障，构建基于互联网的海量高可用、高可靠的满足用户需求的云存储系统，并且能克服以数据中心为主的云存储系统中存在的元数据集中索引、访问性能瓶颈、主从访问模式灵活性不足等问题。本专利技术实现上述目的所采取的技术方案是:一种基于用户协作云的云存储系统，包括用户访问层、应用接口层、数据管理层和数据存储层，所述的用户访问层为普通的用户提供文件的本文档来自技高网...

【技术保护点】
一种基于用户协作云的云存储系统，其特征在于，包括用户访问层、应用接口层、数据管理层和数据存储层，所述的用户访问层为普通的用户提供文件的管理与数据存取的个人网盘服务，并利用用户提供的闲散存储资源，为一些特殊的系统用户提供数据备份、数据归档和数据存储服务，对存储需求较大的在线社交网络或在线视频网站提供媒体存储报务；应用接口层为用户提供互联网的网络接入后，进行用户认证；对通过认证的用户初始化，为用户生成可视化的目录及文件空间；完成用户的权限管理，给不同用户不同权限以便于管理；用户上传文件至系统之前，完成文件分块及文件加密操作；数据管理层通过分布式文件系统完成对文件的管理，包括文件与目录的操作；通过分布式哈希表把应用接口层加密后的文件分块上传到系统，并通过P2P的路由功能把分块存储到系统确定的存储节点中，完成系统数据备份及副本管理功能；数据存储层包括存储节点，存储节点为Internet范围内能提供闲余存储资源和计算能力的零散桌面计算机，各存储节点贡献各自的存储空间和计算资源，通过P2P技术互连起来，形成具有海量存储资源的用户协作云。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱晓姝，王贞东，
申请(专利权)人：玉林师范学院，
类型：发明
国别省市：