一种基于P2P和云存储实现跨节点存储的方法和装置制造方法及图纸

本发明专利技术提出一种基于P2P和云存储实现跨节点存储的方法和装置。外部的内容源注入业务系统，P2P中心节点对源文件进行P2P切片处理；中心节点本地执行P2P本机缓存，通过云存储访问客户端发起本地云存储写入请求，中心节点本地云存储执行写入操作，更新本地目录，中心节点P2P客户端发起P2P全网分发操作，向全网各P2P节点传送文件；节点P2P客户端收到文件，向本地云存储系统发起文件写入请求，本地云存储执行写入操作，更新本地目录。本发明专利技术实现了全网云存储。文件跨域存储、跨域共享和调度。不同物理位置的云存储资源全网共享、统一管理。

【技术实现步骤摘要】
一种基于P2P和云存储实现跨节点存储的方法和装置
本专利技术属于数据通信领域。本专利技术综合运用P2P、云存储技术，实现了一种适应跨域的海量存储节点之间快速共享大文件的技术方案。
技术介绍
存储是CDN网络的重要组成部分，因为CDN的核心能力就是为用户提供就近服务，需要在网络边缘缓存大量的文件。随着CDN所承载的视频业务向高清、3D、海量视频文件趋势发展，对存储的容量和效率要求也越来越高，且存储设备更新率极高，大约一年就要全部更新一次。家庭用户的宽带提速带来了新的业务需求，片源码率至少要提高两倍以上，影片数量翻倍，则可以推算出存储成本为几亿计。高昂的存储成本压力使得CDN提供商纷纷寻找新的存储解决方案。基于文件切片的全网分布式存储是新的解决方案之一。这类方案的核心思想是将一个大文件切片以后，切片文件分散存放在全网不同的物理位置的设备上。对一个覆盖全国的CDN网络来说，这些设备分散在不同的城域网中。当用户请求这个文件时，由一台设备从全网多个节点调度切片文件进行组装并提供用户服务，或多台保存这个文件切片的设备同时为用户提供服务。方案不仅要求单点具备海量存储能力，还要求高效的跨域传送能力，以免产生服务时延。云存储技术在2010年基本发展成熟，能够提供商用产品。云存储是指通过集群应用和分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。目前云存储技术能够解决本地单点海量数据存储的问题，但尚无解决跨域存储的全网云存储方案。
技术实现思路
鉴于以上，本专利技术提出一种基于P2P和云存储实现跨节点存储的方法和装置。本专利技术所涉及的英文缩写定义如下：CDN：ContentDeliveryNetwork，内容分发网络。通过将内容分布到离用户最近的地方实现面向大规模用户的就近服务。CDN分发的内容可包括文件内容和流媒体内容。cache：CDN的边缘服务设备，直接向用户提供服务，从用户的角度，它表现为服务器设备，如流媒体服务器或者Web服务器。P2P：PeertoPeer，点对点通信技术。P2PClient：P2P客户端程序。P2PTracker：P2P索引服务器。本专利技术提出的一种基于P2P和云存储实现跨节点存储的方法，包括以下步骤：外部的内容源注入业务系统，P2P中心节点对源文件进行P2P切片处理；中心节点本地执行P2P本机缓存，通过云存储访问客户端发起本地云存储写入请求，中心节点本地云存储执行写入操作，更新本地目录，中心节点P2P客户端发起P2P全网分发操作，向全网各P2P节点传送文件；节点P2P客户端收到文件，向本地云存储系统发起文件写入请求，本地云存储执行写入操作，更新本地目录。本专利技术提出的一种基于P2P和云存储实现跨节点存储的装置，其中：业务系统包括流媒体服务器，所述流媒体服务器包括：P2P客户端；云存储访问客户端；保存单元，配置于保存本地目录；流化处理单元，配置于接收外部访问请求，根据所述外部访问请求查询保存单元，当查询到本地保存要访问的流媒体内容时，调用云存储访问客户端；当查询到本地未保存要访问的流媒体内容时，调用P2P客户端；P2P系统包括：P2P切片服务器，对原始上传的流媒体内容文件进行P2P切片；P2P索引服务器，耦合于P2P切片服务器，完成内容切片后在全网存储位置的索引；P2P客户端，耦合于使用P2P服务的具体业务服务器，完成P2P的分片查询、传输以及内容文件的重新组装；单点云存储系统包括：云存储设备，存储文件内容；云存储访问客户端，是使用云存储进行读写时调用的代理软件；元数据服务器，将云存储设备存储的内容，在存储层面进行物理分片，并将这些物理分片的地址进行存储索引。目前的云存储技术只有单点存储方案，本专利技术利用P2P技术实现了全网跨节点的云存储。文件跨域存储、跨域共享和调度。不同物理位置的云存储资源全网共享、统一管理。对调用存储资源的具体业务设备来说，可以通过本地目录查询本地云存储中的文件，也可以通过P2P系统获得其他物理位置的文件。本专利技术利用P2P技术实现了跨域调度，因此对业务侧来说，可以把分布在不同物理位置的存储设备所构成的存储系统看成一个大的本地存储系统，需要跨域调度的工作由P2P系统完成。而P2P的调度过程是整个大网云存储系统内部过程，对业务侧来说是不可见的。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是示出本专利技术通过P2P技术实现跨域文件存储和调度的装置架构示意图。图2是本专利技术通过P2P技术实现跨域内容存储的流程示意图。图3是本专利技术通过P2P技术实现跨域内容调度的流程示意图。具体实施方式现有技术是单点云存储，即云存储系统只能为本地业务系统提供存储服务。本专利技术是通过一种方法使分布在不同物理位置的多个单点云存储能经过网络传送形成统一的存储能力，类似于分布式存储。这种方法就是P2P，P2P系统提供了分布式内容索引能力和跨域文件传送能力。本专利技术引入P2P技术实现全网云存储，从而降低存储成本，或利用闲置存储设备，解决目前某些需要大量存储资源的业务系统存储成本高、容量难以线性扩展的问题。为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。图1是示出本专利技术通过P2P技术实现跨域文件存储和调度的装置架构示意图。该装置中采用云存储解决单点存储问题，采用P2P技术解决跨域文件共享调度问题。对上层业务系统(仍以CDN系统为例)来说，整个网络中的存储可以看做一个黑盒子，只需进行标准文件读写操作，无需考虑文件存储管理、跨域调度等底层问题。本领域技术人员应该可以理解，本专利技术不限于CDN业务系统，对其他业务系统也适用。图1所示装置包括：CDN业务系统10、P2P系统20以及单点云存储系统30(虚线框内的部分)。下面将结合附图对各个系统进行详细说明。CDN业务系统10包括CDN流媒体服务器11(cache)，CDN业务系统10描述了云存储+P2P系统的构成，以及作为全网存储解决方案在这个系统中的定位和主要接口关系。其中，CDN流媒体服务器11包括流化处理单元、云存储访问客户端、P2P客户端以及保存单元。保存单元配置于保存本地目录。流化处理单元配置于接收外部访问请求，根据所述外部访问请求查询保存单元，当查询到本地保存要访问的流媒体内容时，则调用云存储访问客户端；当查询到本地未保存要访问的流媒体内容时，则调用P2P客户端。P2P系统20包括P2P切片服务器21(P2PSliceServer)、P2P索引服务器22(P2PTracker)以及P2P客户端23(P2PClient)。各模块功能描述如下：P2P切片服务器21对原始上传的流媒体内容文件进行P2P切片。P2P索引服务器22耦合于P2P切片服务器21，完成流媒体内容切片后在全网存储位置的索引。P2P客户端根据该索引查询获取全网内保存所访问内容的云存储系统，调用该云存储系统的云存储访问客户端以获取流媒体内容。P2P客户端23耦合于流媒体服务器11，根据索引完成P2P的本文档来自技高网...

【技术保护点】
一种基于P2P和云存储实现跨节点存储的方法，包括以下步骤：外部的内容源注入业务系统，P2P中心节点对源文件进行P2P切片处理；中心节点本地执行P2P本机缓存，通过云存储访问客户端发起本地云存储写入请求，中心节点本地云存储执行写入操作，更新本地目录，中心节点P2P客户端发起P2P全网分发操作，向全网各P2P节点传送文件；节点P2P客户端收到文件，向本地云存储系统发起文件写入请求，本地云存储执行写入操作，更新本地目录。

【技术特征摘要】
1.一种基于P2P和云存储实现跨节点存储的方法，包括以下步骤：外部的内容源注入业务系统，业务系统调用P2P客户端将所述内容源发送至P2P系统的P2P切片服务器，所述P2P切片服务器对所述内容源的源文件进行P2P切片处理，所述P2P系统的P2P索引服务器更新切片后的所述内容源在全网存储位置的索引；所述P2P系统调用中心节点的云存储访问客户端向中心节点的云存储系统发起云存储写入请求，中心节点的云存储执行写入操作，中心节点的业务系统更新本地目录，中心节点的云存储系统调用P2P客户端通过P2P系统发起P2P全网分发操作，向全网各普通P2P节点传送文件；普通节点的P2P客户端收到文件，调用云存储访问客户端向本地云存储系统发起文件写入请求，本地云存储执行写入操作，普通节点的业务系统更新本地目录；其中，同一中心节点或普通节点的各业务系统共享相同的云存储文件系统命名空间。2.根据权利要求1所述基于P2P和云存储实现跨节点存储的方法，在实现跨节点存储之后，还包括内容调度的流程，包括以下步骤：当业务系统接收到内容访问请求时，将其转发给流媒体服务器，流媒体服务器查询本地目录；如果本地命中，则向本地云存储系统发起文件读取请求，流媒体服务器获取云存储系统读出的内容文件，进行流化处理后返回给用户；如果本地未命中，则向P2P系统发起文件请求，P2P系统执行跨域文件调度，P2P服务器从多个跨域节点得到文件切片后进行P2P解封装、文件组装，提供给流媒体服务器，流媒体服务器将内容文件流化处理后返回给用户。3.根据权利要求2所述基于P2P和云存储实现跨节点存储的方法，P2P服务器从多个跨域节点得到文件...

【专利技术属性】
技术研发人员：孙颖，雷葆华，蔡永顺，陈晓益，张洁，王峰，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：