一种用于众包的内容分发方法、中心节点及边缘节点技术

本发明专利技术公开一种用于众包的内容分发方法、中心节点及边缘节点，边缘节点全部或部分地直接部署在与所有者网络拓扑距离为零跳的具有局域网‑广域网接入功能的设备或模组上，所述设备和模组分别智能地预取和/或缓存用户即将访问和/或已经访问的内容资源，中心节点将设备或模组、内容资源按照不同服务场景以不同方式管理起来，实时或定时探测和预测该设备或模组的空闲资源情况，利用此空闲资源来服务网络中拓扑距离较近的其他用户。本发明专利技术在多数场景中提高内容分发网络服务质量，为内容提供商节省运营支出，同时将部分收益回馈贡献计算、网络或存储资源的终端用户。

A content distribution method, central node and edge node for crowdsourcing

【技术实现步骤摘要】
一种用于众包的内容分发方法、中心节点及边缘节点本案是以申请号为201510086043.0，申请日为2015年2月24日，名称为《一种众包的内容分发网络系统、方法与装置》的专利申请为母案的分案申请。
本专利技术涉及网络通信领域，尤其涉及一种用于众包的内容分发方法、中心节点及边缘节点。
技术介绍
互联网(Internet)商业化运营中，由于多数服务均采用C/S(客户端/服务器)模式，少数的中心服务器一方面由于自身的带宽、存储容量有限，在服务成千上万的用户特别是有大量用户请求瞬间涌入时，很容易成为整个网络服务的瓶颈；另一方面由于距离用户的地理距离、网络拓扑距离可能较远，且可能跨越多个ISP(InternetServiceProvider，互联网服务提供商或运营商)，传输路径中很容易遭受网络拥塞和抖动，以及运营商的限速等。在上述情况下，用户得不到较好的QoE(QualityofExperience，服务体验质量)。20世纪90年代后期，各大Web站点的hotspot(热点)和flashcrowd(突发访问)的现象越来越突出，造成的瓶颈问题不仅可以击垮一个网站，甚至会带来多米诺效应---站点附近的网络都将受灾。为了解决因前述各现象越来越突出，造成Web内容传送越来越慢、服务越来越不可靠的问题，万维网(WorldWideWeb)之父TimBerners-Lee在MIT(麻省理工学院)内部发起了一个旨在改进互联网内容传送方式的竞赛，参与此竞赛的研究生DanielLewin和其导师TomLeighton基于参与此竞赛的成果在不久之后创办了后来世界上最大的CDN(ContentDeliveryNetwork，内容分发网络)公司–Akamai。CDN的基本思路即是在网络中，跨地域、跨ISP地部署一系列服务器，并且以特定算法把特定内容多副本地分发到不同服务器上，重定向用户请求，使得用户能够从距离自己较近的服务器上获取内容。但是，拓扑上来讲，即使花费巨大成本，这个距离还可能不是足够近。大约2005年之后，P2P(peer-to-peer，点对点即对等节点)网络的应用开始流行并且持续了一段时间。在P2P网络中，节点没有了明显的C/S的区别，而每个节点都可以在获取数据的同时服务其他节点。由于当时用户的设备内外存的存储空间有限，P2P主要用于流媒体直播场景－在此场景中，特定时刻不同用户需求数据的重叠度较高。然而，由于深受spyware(间谍软件或流氓软件)的影响，多数用户并不情愿安装单独(standalone)的客户端，P2P应用逐渐失去了魅力。2010年后，随着云计算技术的成熟和大规模部署，CDN厂商开始融合云技术，并且应用多层的架构，从ISP的数据中心和/或边缘机房“批发”带宽和存储，把服务“零售”给云的使用者即内容提供商(ContentProvider,CP)。CloudCDN似乎赢得了和P2P这场网络战争的胜利。然而，构建一整套CDN体系的开支不菲，而且其包括带宽和存储的运营成本也较高。这导致了在多数发展中国家只有极少数规模较大、盈利能力较好的内容提供商才能够承担得起自建或租借CDN服务的费用。再者，随着Wi-Fi、3G/4G/5G网络的应用与普及，移动设备数量的指数级增长，以及富媒体应用的流行，用户对内容(包括并不限于HTML网页、JS脚本、图片、音视频、流及动态内容)等的带宽需求越来越大。而上述技术改善的是终端到基站或者网关这一段的网络速度，而ISP的骨干传输网络(backbonenetwork)并没有因此而本质上变宽，这些技术部署后，面向用户的“最后一公里瓶颈”得到缓解，但随之而来的是用户更大的流量或带宽需求，中间的传输骨干网面临更大的冲击，内容提供商对CDN需求会明显增加。此外，CDN本质上是通过减轻用户数/用户请求量与边缘节点--用户的可用带宽之间的逆线性关系而工作的。其结果是，给定容量的CDN服务的用户数如果持续增加，其整体用户体验必定会下滑。近年来，为了缩减成本，一些厂商开始尝试采用CDN和P2P混合的模式。融合的技术可分为两种：一种是在CDN服务器节点之间使用P2P传输技术来进行内容的分发、交换，并互相备份，以提高中心服务器(内容的源点)向CDN末端服务器(边缘节点)进行内容分发的效率。二是在传统P2P网络中加入CDN的管理机制和服务能力，形成一个以内容分发网络为中心，对等传输为边缘的传输架构，使原对等传输网络具有更强的内容及用户的可管理性，同时使整个网络的流量更加有序。美国专利US2008/0155061A1描述了一个混合CDN和P2P的系统，用户对资源的请求最终到底是由CDN还是P2P网络来提供取决于两者的负载和带宽情况。中国专利CN200710086556.7则具体描述了在这种混合架构中的一种承载和调度策略：当CDN某一边缘节点服务的区域用户超过某一阈值时，原有客户端变为P2P节点，来服务后加入的用户。但是，以上的方法中，一者CDN边缘节点仍是构建在服务一个到数个省级行政区域的ISP机房的服务器上，对网络的边缘并不能很好地覆盖，事实上用户距所服务的CDN边缘的平均距离远大于一跳，例如大多数CDN对于中国西部超过五省的服务仅用成都的一个CDN机房覆盖；二者P2P模块构建在了用户直接使用服务的PC、PDA、智能手机、平板电脑等设备上，这样几乎不可避免会让用户感知其对用户设备I/O和CPU的使用，消耗移动设备电池电量，从而伤害用户体验；三者CDN和P2P的使用都有次序的，并不是真正意义上融合了CDN和P2P技术的方案；四者CDN和P2P之间的带宽调度太粗糙，事实上在真实的商业系统中根本不可能采用这么简单而模糊的方式来调度二者流量。
技术实现思路
本专利技术所要解决的技术问题是：为解决内容提供商中心服务器带宽和处理能力瓶颈，ISP骨干网压力大，CDN运营和使用成本高，CDN和P2P系统不能无缝融合、灵活调度等问题，本专利技术在距离终端用户最近的“零跳”设备或模组如智能路由器或Web浏览器上构建分层、众包的内容分发网络，并且设计出一整套使各方都受益的商业运营方法。本专利技术的第一个方面提出一种众包的内容分发网络系统，包括中心和边缘两大部分，其中，中心包含对边缘节点的管理模组，用于部署、更新、配置边缘节点的服务器或处理模组，索引边缘节点的资源信息和当前状态，对边缘部分提供统一或分层的管理；边缘部分包含边缘服务器或边缘处理模组，全部或部分地直接部署在与所有者网络拓扑距离为零跳(ZeroHop)的具有局域网-广域网接入(LAN-WANAccess)功能的设备或模组上。本专利技术的第二个方面提出一种内容分发网络方法，包括：管理与所有者网络拓扑距离为零跳的具有局域网-广域网接入功能的设备或模组，以及部署在其上的功能模组；根据所述设备或模组的物理特性和历史在线时长分布特点决定所述部署在其上的功能模组的工作方式，以及对哪些位置的资源进行索引；根据所服务业务和/或用户当前使用的业务/资源特征决定对资源的索引、查找和传输的方式；根据所述设备或模组所在的网络位置、连接性、负载、服务容量、资源量、资源特征、所有者或频繁访问者在社交网络或兴趣域上的距离之中一个或多个信息决定加速节点选择/资源查找的方式；根据场景需要在数据传输之前尝试协助边缘设本文档来自技高网...

【技术保护点】
1.一种用于众包的内容分发方法，其特征在于，包括：部署、更新、配置边缘节点的服务器或处理模组，索引边缘节点的资源信息和当前状态，对边缘部分提供统一或分层的管理；调度整个网络中的任务和流量，并在必要情况下协助用户侧“零跳”设备或模组之间建立P2P连接，方法包括STUN、TURN、UPnP、PCP、HNT、ICE、Trickle ICE。

【技术特征摘要】
1.一种用于众包的内容分发方法，其特征在于，包括：部署、更新、配置边缘节点的服务器或处理模组，索引边缘节点的资源信息和当前状态，对边缘部分提供统一或分层的管理；调度整个网络中的任务和流量，并在必要情况下协助用户侧“零跳”设备或模组之间建立P2P连接，方法包括STUN、TURN、UPnP、PCP、HNT、ICE、TrickleICE。2.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括在必要情况下为给定所述用户侧“零跳”设备或模组节点选择网络拓扑、地理位置、社交关系、兴趣域中一个或多个度量下距离最近或较近的一个或若干个对等节点。3.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括精确查找给定唯一标识(UUID)的资源，或者与给定资源在属性、特征、语义上近似的其他资源的位置。4.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括在动态加速、视频直播场景中，构建最优或近似最优的数据传输链路或分发图。5.根据权利要求3所述的一种用于众包的内容分发方法，其特征在于，所述资源是包括图片、视频、音频在内的静态媒体文件，包括HTML、CSS在内的静态Web文件，JS、Flash在内的半动态Web文件，信令、消息、数据库查询结果在内的动态数据，音视频直播/会话的频道或数据流，或者各种场景下的任意数据片段。6.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，所述资源信息包含当前节点缓存和/或预取资源的索引表、资源和节点的哈希表、位示图、资源特征向量表、用户兴趣域特征向量；所述当前状态包含当前节点可用带宽、可用内存/磁盘存储、CPU使用率/负载、I/O负载。7.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括将内容提供商或用户指定的域名动态、智能地解析到合适地域、合适ISP网络下的某个或若干个边缘节点。8.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括接收边缘节点上部署的程序在每次设备启动时和/或每间隔时间发送的注册以及该设备当前的状态信息。9.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括向边缘节点指示升级对应的边缘处理模块或指示下载安装新的处理模组。10.根据权利要求1所述的一种用于众包的内容分发方法，其特征在于，还包括通知边缘节点更新操作系统或系统模组、更新系统程序和应用程序配置以及重启设备。11.一种用于众包的内容分发方法，其特征在于，包括：边缘节点全部或部分地直接部署在与所有者网络拓扑距离为零跳(ZeroHop)的具有局域网-广域网接入(LAN-WANAccess)功能的设备上；边缘节点接收中心节点的统一或分层管理；边缘节点上部署有支持HTTP和/或WebRTC或等效支持P2P的传输协议的服务进程，以响应来自中心、边缘节点或客户端的命令或请求；边缘节点在中心节点的协助下与用户侧“零跳”设备或模组之间建立P2P连接，方法包括STUN、TURN、UPnP、PCP、HNT、ICE、TrickleICE。12.根据权利要求11所述的一种用于众包的内容分发方法，其特征在于，还包括边缘节点通过缓存模组管理频繁访问和/或即将被频繁访问的资源。13.根据权利要求12所述的一种用于众包的内容分发方法，其特征在于，还包括边缘节点通过预取模组获取并存储预测出的未来某时刻可能被访问的资源。14.根据权利要求13所述的一种用于众包的内容分发方法，其特征在于，所述缓存模组和所述的预取模组在同时存在时相互协作，所述预取模组获取的未来某时刻可能被访问的，并且满足给定条件的资源，传递给所述缓存模组；而缓存模组即将被淘汰/置换的满足给定条件的资源存储进预取模组中的存储器里。15.根据权利要求11所述的一种用于众包的内容分发方法，其特征在于，还包括边缘节点将所服务的不同场景、不同类型、不同可用性要求和分发优先级的资源以不同方法缓存/预取在需要的边缘节点或节点组。16.根据权利要求11所述的一种用于众包的内容分发方法，其特征在于，还包括边缘节点将内容提供商或用户指定的域名动态、智能地解析到合适地域、合适ISP网络下的某个或若干个边缘节点。17.一种用于众包的内容分发的中心节点，其特征在于，包含对边缘节点的管理模组，用于部署、更新、配置边缘节点的服务器或处理模组，索引边缘节点的资源信息和当前状态，对边缘部分提供统一或分层的管理；还包含用以调度整个网络中的任务和流量的协调者(Coordinator)模组，所述协调者模组包括支持UPnP、PCP、STUN、TURN、ICE、TrickleICE、HNT中一个或若干个NAT/防火墙穿越协议的服务器子模组，用于在必要情况下协助用户侧“零跳”设备或模组之间建立P2P连接。18.根据权利要求17所述的一种用于众包的内容分发的中心节点，其特征在于，所述协调者模组还包括节点选择子模组，用于在必要情况下为给定...

【专利技术属性】
技术研发人员：庄奇东，
申请(专利权)人：深圳梨享计算有限公司，
类型：发明
国别省市：广东,44