一种基于视频内容特征的边缘网络缓存方法和装置制造方法及图纸

本发明专利技术公开了一种基于视频内容特征的内容缓存方法和装置。本发明专利技术涉及网络缓存与视频领域，能够在边缘网络存储空间有限、请求分布分散的情况下显著提升网络缓存命中率，从而提升视频传输质量。本发明专利技术提出一种新颖的基于特征的内容缓存策略，通过采集视频文件内容上的特征来进行缓存准入，从而反映出用户对视频文件的偏好，从而提高网络缓存的内容复用率。本发明专利技术的主要贡献包括：通过视频内容特征采集的方法，提出了一个衡量视频缓存价值的新的衡量标准，通过视频内容特征来进行缓存；通过树状数据结构对特征空间进行压缩，并通过强化学习的方法实时更新出存入缓存的特征空间，从而大大减小了算法的功耗，使之可以实际应用于边缘网络节点之上。

【技术实现步骤摘要】
一种基于视频内容特征的边缘网络缓存方法和装置
本专利技术属于网络流媒体传输
，具体涉及到一种提升缓存命中率从而降低视频传输延迟的缓存方法和装置。
技术介绍
由于在当今网络传输中，视频流量已经占全部流量的绝大部分，因此针对视频的特点作出高效的缓存策略可以有效降低网络的带宽消耗。其中，缓存准入策略是提升缓存性能的一个重要方法。自1994年以来，缓存准入策略逐渐得到了广泛研究并有了一定的应用。在当前方法中，缓存准入策略可以分为两类:(1)基于请求频率的缓存准入策略(2Q,PSS,TLRU和BloomFilter)，(2)基于内容大小的缓存准入策略(Threshold,LRU-S,AdaptSize)。基于请求频率的缓存准入策略普遍应用于大型网络缓存节点(例如大型CDN节点)。缓存节点会维护一张巨大的内容请求频率表，用于记录所有内容在近期被请求的频率。因此，缓存节点可以根据内容的访问频率来决定是否让内容进入缓存。该方法的应用有两个前提:首先是节点的存储、运算能力要足够大，因为实时维护所有内容的请求热度需要占用一定的存储和计算资源，其次是请求的密集程度要足够大，从而使对内容的请求能够形成统计上的热度分布。基于内容大小的缓存准入策略普遍应用于内存中。由于内存中文件大小相差巨大(大文件可能是小文件的107倍)，接收一个大文件可能会导致数量众多的小文件被替换出缓存，在此过程中会消耗大量读写资源。因此，内存的缓存准入策略普遍倾向于只接受大小小于一定阈值的文件，而将大文件阻挡出去。以上两种方法在应用于边缘节点缓存时都存在一些问题。边缘节点是指位于网络边缘，计算能力和存储能力都较弱的缓存设备。基于请求频率的缓存准入策略需要较大的请求密集程度和较强的设备运算能力，基于内容大小的缓存准入策略适用于大小悬殊的文件请求。然而视频文件普遍属于大文件，大小大致在一个数量级，没有过于悬殊的差距，而且边缘缓存难以提供足够的访问密集程度以形成稳定的热度分布。因此，现有方法并不适合边缘节点的视频缓存。
技术实现思路
本专利技术的目的是针对边缘网络视频传输中缓存命中率低的问题，提出了一种能够在边缘缓存节点空间有限、请求分布随机的情况下，通过视频内容相关特征、挖掘用户喜好，从而尽可能多地命中用户对视频请求的一种视频内容缓存策略，减少视频传输网络延迟。本专利技术采用的技术方案如下：一种基于视频内容特征的边缘网络缓存方法，包括以下步骤：收集视频内容信息；利用收集的视频内容信息，学习具有不同特征的视频的缓存命中率，建立关键特征学习模型；利用关键特征学习模型，建立缓存准入决策模型；利用缓存准入决策模型，判断视频内容是否被允许进入缓存。进一步地，所述建立关键特征学习模型，包括：建立树状特征空间模型；定义树状特征空间模型中各节点所维护的信息，每个节点i代表一个特征子空间，并维护其整体命中率和热度；如果i是叶节点，则相应的特征子空间称为关键特征组合；通过节点扩展和节点修剪两个基本操作进行模型训练，训练过程中实时获得当前的关键特征组合及该关键特征组合下的视频文件的缓存命中率。进一步地，所述节点扩展是定期扩展有潜力的叶节点，将特征子空间划分为更小的特征子空间，在所述更小的特征子空间下的视频请求到达时生成子节点；所述节点修剪是定期修剪空闲节点，如果在某个特征子空间下对视频内容的请求量在一定时间内低于阈值，则删除相应的节点。进一步地，所述利用关键特征学习模型，建立缓存准入决策模型，包括：计算各个关键特征组合的收益；选择代表K个关键特征组合的K个叶节点获得最高收益，并允许该K个叶节点进入缓存；对每个选择的叶节点进行收益更新。进一步地，采用收益函数F(hi,li,ci)计算各个关键特征组合的收益：其中，对于给定的叶节点i，hi定义为其关键特征组合下视频内容的最近命中率，li定义为叶节点i所在的层数，ci定义为i在历史上已被缓存准入决策模型缓存的次数，δ1、δ2和δ3是三个恒定偏移量。进一步地，所述对每个选择的叶节点进行收益更新，是对于每个选定的叶节点i，hi的值根据节点i下视频内容的实际命中率进行更新，ci增加1，然后缓存准入决策模型根据收益函数F(hi,li,ci)的定义获得更新后的收益函数。进一步地，每经过一段时间，对关键特征学习模型和缓存准入决策模型进行更新。一种网络缓存装置，其包括：模型训练模块，用于收集视频内容信息；利用收集的视频内容信息，学习具有不同特征的视频的缓存命中率，建立关键特征学习模型；利用关键特征学习模型，建立缓存准入决策模型；缓存准入决策模块，用于利用缓存准入决策模型，判断视频内容是否被允许进入缓存。本专利技术针对边缘视频缓存节点存储空间小、请求分散难以形成热度统计的特点，设计了基于视频内容特征的缓存准入策略。不同于传统的缓存准入策略，本专利技术通过视频内容相关的特征汇集类似的视频，并训练模型以得到它们的平均命中率，而不是建立所有视频内容的请求频率直方图。然后，应用强化学习算法来实时进行缓存准入决策。例如，通过检查视频的类别，作者和时间长度，可以决定是否允许此视频进入缓存。由于本专利技术通过内容特征来划分不同的视频并以特征为粒度预测内容热度，它不需要建立巨大的内容热度表，同时能良好适应单个内容在边缘节点热度不稳定的特点，因此可以在边缘节点上取得良好的效果。本专利技术通过采集视频文件内容上的特征来进行缓存准入，从而反映出用户对视频文件的偏好。因为用户的偏好是相对稳定的，从而提高网络缓存的内容复用率。本专利技术的主要贡献包括：(1)通过视频内容特征采集的方法，提出了一个衡量视频缓存价值的新的衡量标准，并通过这些视频内容特征来进行缓存。(2)为克服视频内容特征庞大、边缘网络请求多变的问题，通过树状数据结构对特征空间进行压缩，并通过强化学习的方法实时更新出存入缓存的特征空间，从而大大减小了算法的功耗，使之可以实际应用于边缘网络节点之上。本专利技术中的缓存方法有两个主要优势：(1)适用于较分散的请求分布。本专利技术所提及的缓存算法基于特征而不是基于单个内容进行热度统计，将类似内容汇聚为一类，可以在分散、难以形成热度分布的请求中，有效抵消基于内容做统计产生的巨大偏差。(2)轻量级算法。本专利技术提及的缓存算法是一种轻量级算法，由于只需要统计不同特征的视频热度而不需要记录所有视频的请求频率，算法运行只需要少量的存储空间。因此非常适合应用于计算、存储能力受限的边缘节点。附图说明图1是本专利技术所提及的基于视频内容特征缓存策略的示例图。图2是关键特征学习模型的示意图。图3是本专利技术方法的流程图。具体实施方式本专利技术属于网络视频缓存领域，具体涉及到一种改善边缘网络视频文件缓存效率的缓存策略。通过对视频内容特征的分析，决定哪些内容存入缓存中，从而提升缓存命中率，提升视频传输质量。视频可以具有类别(电影，卡通或体育视频)，本文档来自技高网...

【技术保护点】
1.一种基于视频内容特征的边缘网络缓存方法，其特征在于，包括以下步骤：/n收集视频内容信息；/n利用收集的视频内容信息，学习具有不同特征的视频的缓存命中率，建立关键特征学习模型；/n利用关键特征学习模型，建立缓存准入决策模型；/n利用缓存准入决策模型，判断视频内容是否被允许进入缓存。/n

【技术特征摘要】
20191018 CN 201910992421X1.一种基于视频内容特征的边缘网络缓存方法，其特征在于，包括以下步骤：
收集视频内容信息；
利用收集的视频内容信息，学习具有不同特征的视频的缓存命中率，建立关键特征学习模型；
利用关键特征学习模型，建立缓存准入决策模型；
利用缓存准入决策模型，判断视频内容是否被允许进入缓存。


2.根据权利要求1所述的方法，其特征在于，所述建立关键特征学习模型，包括：
建立树状特征空间模型；
定义树状特征空间模型中各节点所维护的信息，每个节点i代表一个特征子空间，并维护其整体命中率和热度；如果i是叶节点，则相应的特征子空间称为关键特征组合；
通过节点扩展和节点修剪两个基本操作进行模型训练，训练过程中实时获得当前的关键特征组合及该关键特征组合下的视频文件的缓存命中率。


3.根据权利要求2所述的方法，其特征在于，所述节点扩展是定期扩展有潜力的叶节点，将特征子空间划分为更小的特征子空间，在所述更小的特征子空间下的视频请求到达时生成子节点；所述节点修剪是定期修剪空闲节点，如果在某个特征子空间下对视频内容的请求量在一定时间内低于阈值，则删除相应的节点。


4.根据权利要求2所述的方法，其特征在于，所述利用关键特征学习模型，建立缓存准入决策模型，包括：
计算各个关键特征组合的收益；
选择代表K个关键特征组合的K个叶节点获得最高收益，并允许该K个叶节点进入缓存；
对每个选择的叶节点进行收益更新。


5.根据权...

【专利技术属性】
技术研发人员：郭宗明，关宇，张行功，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11