内容分发网络数据转发方法和内容分发网络数据转发系统技术方案

技术编号:19436469 阅读:28 留言:0更新日期:2018-11-14 13:09
本发明专利技术属于网络技术领域,具体涉及内容分发网络数据转发方法和内容分发网络数据转发系统。该内容分发网络数据转发方法,包括步骤:建立内容节点与请求资源的资源评估矩阵;对所述资源评估矩阵进行分解,获得两个稠密子矩阵;根据所述稠密子矩阵,获得每个所述内容节点中的任何资源内容的热度;对所述内容节点中每一资源的热度进行排名,预测该所述内容节点将可能访问的数据内容;将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。该内容分发网络数据转发方法和内容分发网络数据转发系统,通过对每个内容节点的“兴趣爱好”进行预判断,并将判断后的热点资源内容分发到对应的内容节点上,从而保证内容节点的请求资源命中率。

【技术实现步骤摘要】
内容分发网络数据转发方法和内容分发网络数据转发系统
本专利技术属于网络
,具体涉及内容分发网络数据转发方法和内容分发网络数据转发系统。
技术介绍
近几年随着网络宽带的普及以及移动带宽的发展,直播等流媒体服务逐渐成为互联网的重要应用。为了提高流媒体的传输质量以及性能,内容分发网络(ContentDistribution/DeliveryNetwork,简称CDN)发挥了很大的作用。CDN通过将网络内容预分发到每一个节点,在用户请求相关资源的时候为用户分配一个“最近”的节点进行数据转发,从而提高数据在网络中的传输性能。目前的内容分发网络在分发内容时是采用全部分发的模式,即所有内容都预先分发到全部节点,以保证用户待请求相关内容时可以从最近的节点进行内容传输。但是这种非智能的“傻瓜式”预分发操作极大的占用了CDN的网络带宽以及每个节点的存储资源。随着网络的发展,网络中的大流量数据,如流媒体数据的数据量程爆炸式增长,要保证每个节点都保存一份数据,这无疑对存储资源是一个非常大的挑战。在节点的存储资源有限的情况下,在网络数据成指数级增加的今天,需要对分发的数据进行取舍,CDN提供商或者需要不断的扩容节点的存储,或者需要保存用户最近访问过的数据从而降低了。目前的主流做法是保留用户最近访问过的资源,即类似于缓存的做法,这种方式对于单个用户的访问行为有一定的效果,但是对于服务于一个区域的内容节点,无法预知用户的下一步需求,对于整个系统资源命中率的提高效果不是很理想。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中上述不足,提供一种内容分发网络数据转发方法和内容分发网络数据转发系统,对内容节点的请求资源内容进行预测,从而保证内容节点的请求资源命中率,大大提高了提高内容节点的资源利用率和资源派发的命中率。解决本专利技术技术问题所采用的技术方案是该内容分发网络数据转发方法,包括步骤:步骤S1):建立内容节点与请求资源的资源评估矩阵;步骤S2):对所述资源评估矩阵进行分解,获得两个稠密子矩阵;步骤S3):根据所述稠密子矩阵,获得每个所述内容节点中的任何资源内容的热度;步骤S4):对所述内容节点中每一资源的热度进行排名,预测该所述内容节点将可能访问的数据内容;步骤S5):将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。优选的是,步骤S1)中包括:收集各个内容节点的历史资源请求数据;并根据所述历史资源请求数据建立所述资源评估矩阵,所述资源评估矩阵中横坐标表示内容节点,纵坐标表示资源,数值为对应资源在内容节点中的热度,热度通过将资源被请求的次数映射到[0,10]的数值区间中计算得到。优选的是,步骤S2)中:采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵,包括:通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn,公式(1)为:其中:k<<min(m,n),m,n为自然数,所述第一稠密子矩阵Ukm抽象为内容节点,所述第二稠密子矩阵Ikn抽象为资源;通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn,公式(2)为:其中:axy表示第x个内容节点对第y个资源的热度,ux表示内容节点x的偏好隐含特征向量,iy表示资源y的隐含特征向量,则内容节点x对资源i的热度近似为:优选的是,还包括:加入正则化项,通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积:优选的是,步骤S3)中:结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度,使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表。优选的是,步骤S4)中:将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。优选的是,还包括:重复建立内容节点与请求资源的资源评估矩阵的过程,根据后续的用户实际请求数据,更新各个内容节点的历史资源请求数据。一种内容分发网络数据转发系统,包括核心控制节点和分布式布置的多个内容节点,其中:所述核心控制节点,配置为:为用户分配距离用户最近的所述内容节点进行数据转发;以及,收集各个所述内容节点的历史资源请求数据;以及,分析历史资源请求数据,预测各内容节点未来一段时间内可能请求的资源内容;以及,将预测的资源内容预分发到对应的所述内容节点;通过所述内容节点接下来的请求内容调整预估模型中的资源权值参数,优化资源评估矩阵;以及,根据后续的用户实际请求数据,更新各个所述内容节点的历史资源请求数据;所述分布式内容节点,配置为:接收所述核心控制节点预分发的资源内容;以及,处理用户的数据请求,如果本地已有数据则直接转发给用户,如果本地没有数据则需要向所述核心控制节点进行请求;以及,对一定时间内的用户请求数据进行统计并上报给所述核心控制节点。优选的是,所述核心控制节点包括计算单元、配置单元和预测单元,其中:在所述计算单元中,采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵,包括:通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn,公式(1)为:其中:k<<min(m,n),m,n为自然数,所述第一稠密子矩阵Ukm抽象为内容节点,所述第二稠密子矩阵Ikn抽象为资源;通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn,公式(2)为:其中:axy表示第x个内容节点对第y个资源的热度,ux表示内容节点x的偏好隐含特征向量,iy表示资源y的隐含特征向量,则内容节点x对资源i的热度近似为:在所述配置单元中,结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度,使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表;在所述预测单元中,将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。优选的是,在所述计算单元和所述配置单元之间还包括优化单元,在所述优化单元中:加入正则化项,通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积:本专利技术的有益效果是:该内容分发网络数据转发系统,基于交替最小二乘算法的内容分发网络模型,使用一种预判断的机器学习模式对每个节点的历史兴趣爱好进行学习,从而预判断该节点接下来可能访问的内容进行分发,从而提高内容节点的资源利用率和资源派发的命中率;该内容分发网络数据转发方法,基于交替最小二乘算法的内容分发网络模型,在保证内容节点的存储资源有限的情况下,对每个内容节点的“兴趣爱好”进行预判断,并将判断后的热点资源内容分发到对应的内容节点上,从而保证内容节点的请求资源命中率。附图说明图1为本专利技术实施例中内容分发网络数据转发系统的架构图;图2为本专利技术实施例中内容分发网络数据转发方法的流程图;图3为本专利技术实施例中资源评估矩阵的示意图;图4为本专利技术实施例中两个稠密子矩阵的示意图;附图标识中:1-核心控制节点;2-多个内容节点。具体实施方式为使本领域技术本文档来自技高网...

【技术保护点】
1.一种内容分发网络数据转发方法,其特征在于,包括步骤:步骤S1):建立内容节点与请求资源的资源评估矩阵;步骤S2):对所述资源评估矩阵进行分解,获得两个稠密子矩阵;步骤S3):根据所述稠密子矩阵,获得每个所述内容节点中的任何资源内容的热度;步骤S4):对所述内容节点中每一资源的热度进行排名,预测该所述内容节点将可能访问的数据内容;步骤S5):将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。

【技术特征摘要】
1.一种内容分发网络数据转发方法,其特征在于,包括步骤:步骤S1):建立内容节点与请求资源的资源评估矩阵;步骤S2):对所述资源评估矩阵进行分解,获得两个稠密子矩阵;步骤S3):根据所述稠密子矩阵,获得每个所述内容节点中的任何资源内容的热度;步骤S4):对所述内容节点中每一资源的热度进行排名,预测该所述内容节点将可能访问的数据内容;步骤S5):将该内容节点所述将可能访问的数据内容推送给对应的所述内容节点。2.根据权利要求1所述的内容分发网络数据转发方法,其特征在于,步骤S1)中包括:收集各个内容节点的历史资源请求数据;并根据所述历史资源请求数据建立所述资源评估矩阵,所述资源评估矩阵中横坐标表示内容节点,纵坐标表示资源,数值为对应资源在内容节点中的热度,热度通过将资源被请求的次数映射到[0,10]的数值区间中计算得到。3.根据权利要求1所述的内容分发网络数据转发方法,其特征在于,步骤S2)中:采用交替最小二乘法对所述资源评估矩阵分解获得两个稠密子矩阵,包括:通过公式(1)采用第一稠密子矩阵Ukm和第二稠密子矩阵Ikn的乘积来近似资源评估矩阵Amn,公式(1)为:其中:k<<min(m,n),m,n为自然数,所述第一稠密子矩阵Ukm抽象为内容节点,所述第二稠密子矩阵Ikn抽象为资源;通过公式(2)使得两个稠密子矩阵Ukm和Ikn的乘积逼近资源评估矩阵Amn,公式(2)为:其中:axy表示第x个内容节点对第y个资源的热度,ux表示内容节点x的偏好隐含特征向量,iy表示资源y的隐含特征向量,则内容节点x对资源i的热度近似为:4.根据权利要求3所述的内容分发网络数据转发方法,其特征在于,还包括:加入正则化项,通过公式(3)收敛优化逼近资源评估矩阵Amn的两个稠密子矩阵Ukm和Ikn的乘积:5.根据权利要求3或4所述的内容分发网络数据转发方法,其特征在于,步骤S3)中:结合所述第一稠密子矩阵Ukm和所述第二稠密子矩阵Ikn获得每个所述内容节点中的任何资源内容的热度,使得A(m*n)矩阵中第m的内容节点中第n个资源的热度Amn以第一稠密子矩阵U的第m行和第二稠密子矩阵I的第n列为代表。6.根据权利要求1所述的内容分发网络数据转发方法,其特征在于,步骤S4)中:将热度排名靠前、且位于设定范围内的资源预测为该内容节点为将要访问的数据内容。7.根据权利要求1所述的内容分发网络数据转发方法,其特征在于,还包括:重复建立内容节点与请求资源的...

【专利技术属性】
技术研发人员:刘畅毋涛
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1