一种基于用户感知的混合式瓦片缓存方法技术

本发明专利技术公开了一种基于用户感知的混合式瓦片缓存方法，属于沉浸式视频网络缓存技术领域。本发明专利技术采用基于用户感知的混合式瓦片缓存方案，改进了现有的衡量版本编码带给用户观影质量的指标。在此基础上，结合瓦片的压缩率，建立最优化模型，在存储空间有限的条件下混合缓存多种不同切分粒度的瓦片，以最大化用户的观影质量。此外，本发明专利技术采用了启发式算法，巧妙地解决了最优化问题，能够得到接近于最优解的较好效果。

【技术实现步骤摘要】
一种基于用户感知的混合式瓦片缓存方法
本专利技术涉及沉浸式视频网络缓存
，尤其涉及一种基于用户感知的混合式瓦片缓存方法。
技术介绍
沉浸式视频，是通过全景摄像机在同一时刻捕获360°范围内的场景，使观看者能自由选择观看视角的新型媒体，包含全景视频、3D视频、AR/VR视频等多种类型。沉浸式视频因其可以使观看者与视频内容进行交互并产生更真实的沉浸感，而受到了广泛的关注。来自思科的数据表明，沉浸式视频应用在2016年度总流量达159.6PB并有望在2021年达到1680PB。沉浸式视频在现有网络上传输时面临巨大的带宽消耗和严格的时延要求。完整的沉浸式视频需要较高的网络传输带宽。为给用户带来真实的沉浸感，完整的沉浸式视频需要达到分辨率12K(11520*6480)/帧率100fps，远高于普通2D高清视频分辨率960*720/帧率30fps。这意味着，传输完整的沉浸式视频需要多付出超过300倍的带宽资源。同时，沉浸式视频具有更严格的时延要求。研究表明，如果沉浸式视频的渲染延迟长于运动到光子延迟，会使用户产生强烈的晕眩感，这个延迟通常被认为是20ms，远远小于普通2D视频所允许的时延。以上传输要求超过了现有网络能够支持的能力。例如，现有LTE系统在20MHz带宽的下行峰值速率为100Mbps，无法达到沉浸式视频流畅播放所需要的400Mbps。
技术实现思路
有鉴于此，本专利技术提出一种基于用户感知的混合式瓦片缓存方法，该方法能够实现沉浸式视频的流畅播放。为了实现上述目的，本专利技术采用的技术方案为：一种基于用户感知的混合式瓦片缓存方法，包括如下步骤：(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，A()表示求面积；(4)计算第t帧画面时刻，瓦片j带给全体N个用户的平均质量收益：(5)计算第t帧画面时刻，可行瓦片组合Combt,r,x的整体平均质量收益Vt,r,x：(6)以单位缓存空间消耗所带给用户的整体平均质量收益作为收益密度，得到可行瓦片组合Combt,r,x的收益密度ρt,r,x为：ρt,r,x＝Vt,r,x/Wt,r,x；(7)根据用户的观影视点轨迹，对视频上所有的Combt,r,x计算相应的ρt,r,x，并以ρt,r,x作为优先级对Combt,r,x进行降序排序；(8)从高优先级的可行瓦片组合开始，依次将各可行瓦片组合对应的瓦片存入缓存分配方案K，直至K被存满；对于当前Combt,r,x，若K中已经存在同时刻同子区域的另一个可行瓦片组合，则只缓存高优先级的可行瓦片组合；最终得到的缓存分配方案K即为整个沉浸式视频的瓦片缓存方案。本专利技术的有益效果在于：1、本专利技术采用基于用户感知的混合式瓦片缓存方案，改进了现有的衡量版本编码带给用户观影质量的指标。2、本专利技术结合瓦片的压缩率，在存储空间有限的条件下混合缓存多种不同切分粒度的瓦片，以最大化用户的观影质量。3、本专利技术采用了启发式算法，巧妙地解决了最优化问题，能够得到接近于最优解的较好效果。附图说明图1为本专利技术实施例中最大瓦片覆盖区域内可行的缓存瓦片组合示例图。具体实施方式下面结合具体实施例对本专利技术的技术方案进行详细说明。现有瓦片缓存方案是针对同一种切分粒度的规则瓦片，将不同瓦片视为不同的独立文件，按照瓦片的请求概率进行缓存，具体如下：一个用户的FoV无论是完全覆盖瓦片，还是只覆盖到瓦片的一部分区域，均算作用户对该瓦片的一次请求，对请求次数进行归一化即可得到该瓦片的请求概率；按请求概率对瓦片进行排序，并根据缓存容量选择排名靠前的瓦片进行缓存。本方法针对沉浸式视频不同切分粒度的瓦片进行混合缓存，给出如下假设：已知一个视频历史用户的视点移动轨迹，并且未来用户的观看行为在统计意义上与历史用户的观看行为类似；其次，缓存服务器对多种切分粒度编码的沉浸式视频瓦片进行混合缓存。对于大小相同的瓦片，彼此之间不可重叠；对于不同大小的瓦片，较大的瓦片可恰好切分为几个小瓦片，且大瓦片和小瓦片在一个像素上提供的画面质量相同。这个假设确保了覆盖不同区域的瓦片在进行拼接时，瓦片间彼此不会重叠，可以被客户端重新解码并渲染成整个画面呈现给用户；最后，缓存容量有限，不可能把视频每一帧的360°区域全部存储下来。具体来说，本方法首先定义缓存的决策空间，规定最粗粒度切分的瓦片所覆盖的画面区域为一个子区域；然后对单个子区域中的可行的瓦片存储方案及其占用的数据量进行枚举；计算这个子区域的存储空间及可行瓦片组合带给用户的质量收益；利用单位缓存空间消耗所带给用户的质量收益来确定瓦片的缓存优先级；对所有时刻各个子区域的瓦片存储方案进行组合，最后形成整个视频最优化的存储方案。本方法的具体步骤如下：(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，A()表示求面积；(4)计算第t帧画面时刻，瓦片j带给全体N个用户的平均质量收益：(5)计算第t帧画面时刻，可行瓦片组合Combt,r,x的整体平均质量收益Vt,r,x：此时，可得到一个最优化问题模型，其优化目标是最大化用户平均观影质量，即：约束条件是缓存的瓦片数据总和不超过总缓存空间C，且同时刻同子区域的可行瓦片组合的数目应不大于1，即：coun本文档来自技高网...

【技术保护点】
1.一种基于用户感知的混合式瓦片缓存方法，其特征在于，包括如下步骤：/n(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：/nComb＝{Comb

【技术特征摘要】
1.一种基于用户感知的混合式瓦片缓存方法，其特征在于，包括如下步骤：
(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：
Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，
其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；
(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：



其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；
(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：



其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，...

【专利技术属性】
技术研发人员：杨悦，宋瑞良，李捷，张海鹏，宋云鹏，郑宏云，
申请(专利权)人：中国电子科技集团公司第五十四研究所，北京交通大学，
类型：发明
国别省市：河北;13