基于播存网络的雾计算架构内容协同分发方法及应用系统技术方案

本发明专利技术公开了一种基于播存网络的雾计算架构内容协同分发方法及应用系统。本发明专利技术利用播存网络来提升传统雾计算架构的内容主动推送能力和减少其对互联网带宽的消耗，采用软件定义网络SDN的集中控制思想，提出兼顾广播内容和Web缓存内容的多粒度协同存储机制；在此基础上，通过控制器来集中维护和控制域内所有结点，并为域内雾服务器制定高效的内容转发策略；最后，通过控制器来实现域内多结点的内容协同分发。本发明专利技术可以有效增强雾计算架构的内容主动推送能力，减少用户请求时延，提升用户体验。

【技术实现步骤摘要】
基于播存网络的雾计算架构内容协同分发方法及应用系统
本专利技术涉及一种基于播存网络的雾计算架构内容协同分发方法及应用系统，可减少终端用户请求的响应时延，提升用户体验，属于互联网

技术介绍
云计算能够克服传统应用系统中普遍存在资源独占、数据中心业务密度低和系统资源利用率低等弊病，但是它仍然存在无法有效支持延迟敏感应用和消耗大量网络带宽等缺陷。为此，思科(Cisco)提出了雾计算(FogComputing)的概念，把以云计算为特征的网络计算从网络中心扩展到网络边缘，并用雾计算来描述介于云计算与终端计算的中间态。雾计算架构为基于雾计算的解决方案定义了一个开放的系统级架构，能够在沿云到物的数据产生源附近提供计算、存储、控制和联网等功能。雾计算的提出，充分表明边缘计算的重要性。然而，在当前的雾计算架构中，主要采用边缘缓存的形式进行内容分发，严重受限于被动的“用户拉取”的形式，缺乏内容主动推送的能力。播存网络是一种支持网络内容全民共享的新型网络，其基本思想是通过广播将从互联网中爬取的热门内容及其对应的内容元数据，主动推送并存储到网络边缘，方便用户终端直接就近获取。播存网络能够提升用户的内容访问体验，分担互联网的骨干网流量，并且具有主动推送力度强和内容分发不消耗互联网带宽等特性。考虑到当前的雾计算架构存在主动推送能力弱、内容分发消耗互联网带宽等缺点，采用传统技术难以克服这些缺点，而播存网络所具有的优势能够有效克服这些缺点。但是，一方面业界当前尚没有基于播存网络的雾计算架构实现方案；另一方面，基于播存网络构建雾计算架构还存在许多困难，如Web缓存内容和广播内容之间的存储协同、雾服务器的高效管理与控制、多个节点联动的内容协同分发方法等。本专利技术将播存网络的思想融入到雾计算架构中，设计出一种基于播存网络的雾计算架构，并基于该新型雾计算架构，采用软件定义网络SDN的集中控制理念，提出一种兼顾广播内容和Web缓存内容的多粒度内容协同分发方法，实现“推拉结合”的内容推送。
技术实现思路
专利技术目的：针对现有技术中存在的问题与不足，本专利技术提供一种基于播存网络的雾计算架构内容协同分发方法及应用系统。该方法采用“广播分发+泛在存储”的播存网络来辅助雾计算架构进行内容的主动推送，在此基础上利用软件定义网络SDN的集中控制思想，实现内容的高效协同分发，具体包括多粒度内容协同存储、控制器主导的信息处理、以及域内多结点协同分发等。该方法可以减少雾计算架构对互联网带宽的消耗，降低边缘用户的请求时延，提升用户体验。技术方案：一种基于播存网络的雾计算架构内容协同分发方法，与已有方法不同的是，该方法利用播存网络来提升传统雾计算架构的内容主动推送能力和减少其对互联网带宽的消耗，并利用软件定义网络SDN的集中控制思想，实现广播内容分发和Web缓存内容分发的高效协同。本专利技术主要分为3个步骤：步骤1，多粒度内容协同存储。首先，将播存网络的思想融入到雾计算架构中，构建基于播存网络的雾计算架构，该架构包括雾服务器、控制器、多个用户终端以及互联网内容采集服务器和广播内容源，多个雾服务器由控制器进行集中控制，整个架构采用广播内容源来向多个雾服务器分发内容全文及其对应的UCL，这些内容全文由互联网内容采集服务器从互联网采集得到，并且由互联网内容采集服务器生成对应的UCL，同时用户终端也接收广播分发的UCL。这里的UCL是描述内容的元数据，主要包括内容的标题、摘要、关键词、以及内容所属类别等信息。该雾计算架构中同时包含两种存储方式：Web缓存和广播内容存储。Web缓存负责存储细粒度的内容(一般是网页中的构成元素，如网页中嵌入的图片、音乐等)，而广播内容存储则负责存储粒度更粗的网页内容全文。在基于播存网络的雾计算架构中，同时维护两种不同粒度的内容存储方式，以此实现网页构成元素与网页内容全文两种粒度内容的协同存储。先在广播内容存储中挑选热度值大于给定阈值Ps的网页内容全文，并对网页内容全文进行解析得到细粒度的网页元素，然后在其中挑选所有跟白名单(系统管理者定制的网站名单)匹配的网页元素，并存储到Web缓存里。网页内容全文的热度值按照公式(1)进行计算：其中，Pi表示在第i个计时周期内的网页内容全文的热度，且满足P1＝0；Ni表示在第i个计时周期内网页内容全文被访问的次数；Ni的权重系数a>1。步骤2，控制器主导的信息处理。基于播存网络的雾计算架构由多个域构成，在每个域中配置一台控制器，它管控域内的多个雾服务器。当雾服务器中的内容发生增加、删除和更新时，雾服务器都会向控制器上报相应的修改信息；一旦有终端请求到达雾服务器，雾服务器也会向控制器上报本次请求的具体信息。控制器根据各个雾服务器上报的信息，动态调整它所记录的本域内的标引信息表和服务信息表。其中的标引信息表主要包括节点、端口、URL和Hash值等信息，服务信息表主要包括源标识、节点标识、Hash值、类型、命中次数等信息。控制器周期性地依据服务信息表计算每个雾服务器的类别权重比值，并且为每个雾服务器维护一个类别权重比值信息表，用作该雾服务器下次接收广播内容和UCL的依据。用户通过UCL请求UCL所对应的内容。假定所有内容的类别总数为Nc，则任一类别c的权重值按照公式(2)进行计算：其中Rc表示在当前周期内，用户发出的UCL请求为类别c的次数，而为本周期内所有的用户UCL请求的总数。则类别权重比值为控制器还会通过计算每个用户UCL请求的转发价值，来决定雾服务器的域内转发策略。转发价值照公式(3)进行计算：F＝αW+βH+(1-α-β)R公式(3)其中而W、H和R是控制器根据请求参数分别计算出的权重、节点跳数以及命中率，x和y为表征W、H、R三个因素所占比重的常量参数，具体取值可根据实际需求动态调整，但必须满足条件x+y≤0。步骤3，域内多节点协同分发。基于播存网络的雾计算架构采用集中式控制思想，来实现域内节点的协同，这使得雾服务器自身不需要维护复杂的数据信息和控制信息，而只需要负责实现业务逻辑，因此相比于完全分布式处理更加快速和高效。当雾服务器本地存储有用户请求的内容资源时，雾服务器直接响应终端用户的内容请求；若雾服务器本地没有存储被请求的内容资源时，雾服务器直接向控制器发送一个域内协同查询请求。控制器收到雾服务器发来的内容查询请求时，-对于该控制器所管辖范围内并且存储有被请求内容的其他雾服务器，通过计算这些雾服务器针对用户UCL请求的转发价值，选择转发价值最高的雾服务器作为最佳转发节点，并将最佳节点信息返回给请求节点。请求节点收到控制器返回的信息后，直接将内容请求转发到最佳节点所对应的IP和端口，获取内容资源并返回给终端用户。一种执行上述方法的基于播存网络的雾计算架构的内容协同分发应用系统，主要包含一下节点：从互联网中采集热门内容并进行内容元数据UCL标引的爬虫服务器，进行热门内容广播的广播服务器，雾服务器节点(节点标识分别为A,B,C)，控制器节点，以及客户端(节点标识为D)。爬虫服务器从互联网采集热门网页，并且对这些热门网页进行语义解析得到对应的UCL，然后将热门网页及UCL都传给广播服务器；广播服务器将热门网页及UCL通过广播，辐射分发到每个雾服务器。雾服务器对于通过广播接收到的热门网页，本文档来自技高网...

【技术保护点】
一种基于播存网络的雾计算架构内容协同分发方法，其特征在于，主要分为3个步骤：步骤1，多粒度内容协同存储；首先构建基于播存网络的雾计算架构，该雾计算架构中同时包含两种存储方式：Web缓存和广播内容存储，实现网页构成元素与网页内容全文两种粒度内容的协同存储；步骤2，控制器主导的信息处理；基于播存网络的雾计算架构由多个域构成，在每个域中配置一台控制器，它管控域内的多个雾服务器；步骤3，域内多节点协同分发；当雾服务器本地存储有用户请求的内容资源时，雾服务器直接响应终端用户的内容请求；若雾服务器本地没有存储被请求的内容资源时，雾服务器直接向控制器发送一个域内协同查询请求。控制器收到雾服务器发来的内容查询请求时，按相应转发策略计算出所辖域内存储有被请求内容的最佳节点信息，并将最佳节点信息返回给请求节点。请求节点收到控制器返回的信息后，直接将内容请求转发到最佳节点所对应的IP和端口，获取内容资源并返回给终端用户。

【技术特征摘要】
1.一种基于播存网络的雾计算架构内容协同分发方法，其特征在于，主要分为3个步骤：步骤1，多粒度内容协同存储；首先构建基于播存网络的雾计算架构，该雾计算架构中同时包含两种存储方式：Web缓存和广播内容存储，实现网页构成元素与网页内容全文两种粒度内容的协同存储；步骤2，控制器主导的信息处理；基于播存网络的雾计算架构由多个域构成，在每个域中配置一台控制器，它管控域内的多个雾服务器；步骤3，域内多节点协同分发；当雾服务器本地存储有用户请求的内容资源时，雾服务器直接响应终端用户的内容请求；若雾服务器本地没有存储被请求的内容资源时，雾服务器直接向控制器发送一个域内协同查询请求。控制器收到雾服务器发来的内容查询请求时，按相应转发策略计算出所辖域内存储有被请求内容的最佳节点信息，并将最佳节点信息返回给请求节点。请求节点收到控制器返回的信息后，直接将内容请求转发到最佳节点所对应的IP和端口，获取内容资源并返回给终端用户。2.如权要求1所述的基于播存网络的雾计算架构内容协同分发方法，其特征在于，Web缓存负责存储细粒度的网页构成元素内容，而广播内容存储则负责存储粒度更粗的网页内容全文。3.如权利要求1所述的基于播存网络的雾计算架构内容协同分发方法，其特征在于，在基于播存网络的雾计算架构中，同时维护两种不同粒度的内容存储方式，以此实现网页构成元素与网页内容全文两种粒度内容的协同存储；先在广播内容存储中挑选热度值大于给定阈值Ps的网页内容全文，并对网页内容全文进行解析得到细粒度的网页元素，然后在其中挑选所有跟白名单(系统管理者定制的网站名单)匹配的网页元素，并存储到Web缓存里；网页内容全文的热度值按照公式(1)进行计算：其中，Pi表示在第i个计时周期内的网页内容全文的热度，且满足P1＝0；Ni表示在第i个计时周期内网页内容全文被访问的次数；Ni的权重系数a>1。4.如权利要求1所述的基于播存网络的雾计算架构内容协同分发方法，其特征在于，当雾服务器中的内容发生增加、删除和更新时，雾服务器都会向控制器上报相应的修改信息；一旦有终端请求到达雾服务器，雾服务器也会向控制器上报本次请求的具体信息；控制器根据各个雾服务器上报的信息，动态调整它所记录的本域内的标引信息表和服务信息表。5.如权利要求1所述的基于播存网络的雾计算架构内容协同分发方法，其特征在于，控制器周期性地依据服务信息表计算每个雾服务器的类别权重比值，并且为每个雾服务器维护一个类别权重比值信息表，用作该雾服务器下次接收广播内容和UCL的依据；用户通过UCL请求UCL所对应的内容；假定所有内容的类别总数为Nc，则任一类别c的权重值按照公式(2)进行计算：其中Rc表示在当前周期内，用户发出的UCL请求为类别c的次数，而为本周期内所有的用户UCL请求的总数；则类别权重比值为6.如权利要求1所述的基于播存网络的雾计算架构内容协同分发方法，其特征在于，控制器通过计算每个用户UCL请求的转发价值，来决定雾服务器的域内转...

【专利技术属性】
技术研发人员：杨鹏，扈晓娜，刘旋，李幼平，张长江，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32