一种基于视线引导的全景视频传输系统和方法技术方案

本发明专利技术提供了一种基于视线引导的全景视频传输系统和方法，属于全景视频传输技术领域。本发明专利技术系统基于全景视频切块的多播传输系统，在服务器中新增视线引导点优化和下发模块，在客户端新增视线引导结果呈现模块。本发明专利技术方法包括：客户端实时获取用户当前视点发送给服务器；服务器建立视线引导后的用户视点位置的统计模型，最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置，将优化的视线引导位置发送给客户端；客户端将优化的视线引导位置展示给用户，供用户选择。本发明专利技术结合多播技术，增强用户观看视野的集中度，在兼顾用户观看偏好的同时，可降低全景视频的传输流量。流量。流量。

【技术实现步骤摘要】
一种基于视线引导的全景视频传输系统和方法


[0001]本专利技术属于全景视频传输
，具体涉及一种基于视线引导的全景视频传输系统和方法。

技术介绍

[0002]虚拟现实(Virtual Reality,VR)全景视频传输作为5G及下一代移动通信的重要应用场景，具有推进智慧生活的价值，更具有“高带宽、大存储、低时延、复杂视觉自适应”的特性。全景视频传输会为通信系统带来较高流量负担。分块传输方法可有效降低系统传输流量，它将全景视频画面切分为一系列视频块，而只需传输用户视野(Field of View,FOV)内的画面。主动式分块传输方法通过预测用户未来的FOV，提前传输需要观看的切块，有助于降低全景视频传输的时延[参考文献1:X.Wei,C.Yang,and S.Han,“Prediction,communication,and computing duration optimization for VR video streaming,”IEEE Trans.Commun.,vol.69,no.3,pp.1947
–
1959,Nov.2020.]。多播技术是一种降低视频点播业务传输流量的有效方法[参考文献2:S.Han,X.Tan,K.Qi,C.Yang,A.F.Molisch,Y.Lu,J.Zheng,and Y.Li,“Rethinking the gain of multicasting and proactive caching for VoD service,”IEEE Wirel.Commun.,vol.27,no.5,pp.133
–
139,Oct.2020.]，针对全景视频的分块传输，多播可同时服务针对同一视频画面中同一分块的多个请求。
[0003]传统的基于全景视频切块的多播传输系统由服务器、通信链路、客户端组成。在服务器端，全景视频画面经过投影后被划分为若干切块。客户端采集和上报用户的观看视点至服务器。服务器根据收到的用户视点，计算用户的视野，提取FOV内的视频切块。若多个用户同时观看同一切块，则采用多播传输；否则，将切块单独发送给每个用户。
[0004]尽管基于视频切块的多播技术具有节约流量的优势，但其性能取决于用户FOV的集中度。如果用户观看的FOV集中度很低，该方案的优势会大幅减弱。

技术实现思路

[0005]面对全景视频传输流量的巨大开销问题，本专利技术提供了一种基于视线引导的全景视频传输系统和方法，在全景视频传输系统中引入视线引导，通过引导用户的观看视线，提升用户观看视野的集中度，提高多播传输机会，降低全景视频传输流量，同时维护用户的观看偏好。
[0006]本专利技术提供的一种基于视线引导的全景视频传输系统，改进基于全景视频切块的多播传输系统，在服务器中新增视线引导点优化和下发模块，在客户端新增视线引导结果呈现模块。客户端实时获取用户当前视点并发送给服务器。
[0007]服务器的视线引导点优化和下发模块根据用户当前视点、用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型，并计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置
的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置，将优化的视线引导位置发送给客户端。客户端的视线引导结果呈现模块将从服务器中获取的视线引导位置展示给用户，供用户选择。
[0008]相应地，本专利技术提供的一种基于视线引导的全景视频传输方法，包括如下步骤：
[0009]步骤1，客户端实时获取用户当前视点并发送给服务器；
[0010]步骤2，服务器计算当前视线引导后用户的视点位置，包括：
[0011]首先，确定视线引导位置z，设用户k当前的视点为p
k
，用户k以概率φ
k
接受引导，朝向z移动，设移动后的视点为若不接受引导，用户视点将变至根据p
k
预测的视点视点和视线引导位置均为复数，实部与虚部分别对应位置的经度坐标和纬度坐标；然后，根据用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型；
[0012]其中，将全景视频的球形画面投影至平面的画面在经纬度上切分为M块与N块，用N
×
M维度的向量w(p
k
)记录传输给用户的分块，传输的分块需覆盖用户的视野，向量w(p
k
)的每一个维度的数值取1时表示传输该分块，取0时表示不传输该分块；将传输给各用户的分块向量加和后得到总传输向量w；w的每一个非零元素表示该分块在当前时段被请求的次数，需要且只需被传输一次；
[0013]步骤3，计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置；
[0014]其中，最小化系统平均传输流量和用户视点偏移的加权和的目标函数如下：
[0015]min J(z)＝R(z)+λD(z)
[0016]其中,0≤Re(z)≤1，0≤Img(z)≤1
[0017]R(z)表示系统平均传输流量，D(z)表示所有用户的视点偏移距离和，λ为权重，J(z)为系统平均传输流量和用户视点偏移的加权和；Re(z)、Img(z)分别为z的实部与虚部，对应引导位置的经度和纬度坐标；
[0018]步骤4，服务器将优化得到的视线引导位置z
*
推送给客户端并展示给用户，以供用户选择。
[0019]本专利技术的优点和积极效果在于：本专利技术的系统和方法结合多播技术，增强用户观看视野的集中度，从而可降低全景视频的传输流量。同时，本专利技术的系统和方法采用的全景视频传输视线引导位置的优化方案，在兼顾用户观看偏好的同时，综合考虑了视线引导在节约传输流量与维护用户观看偏好上的影响，可有效解决目前全景视频传输流量的巨大开销问题。
附图说明
[0020]图1是本专利技术的基于视线引导的全景视频传输方法的一个整体实现流程图；
[0021]图2是本专利技术的基于视线引导的全景视频传输方法中求解优化视线引导位置的流程图；
[0022]图3是本专利技术方法与现有方法在权重λ的变化下的流量
‑
用户偏好图；
[0023]图4是本专利技术方法与现有方法在不同全景视频传输的节约流量和用户偏好偏移的
对比图。
具体实施方式
[0024]下面结合实施例和附图对本专利技术做进一步的说明。
[0025]本专利技术提出一种基于视线引导的全景视频传输系统，相对于现有基于切块的全景视频传输系统，本专利技术基于视线引导的全景视频传输系统在服务器中增加了视线引导点优化和下发模块，在客户端增加了视线引导结果呈现模块。其工作模式是：客户端向服务器上报当前视点位置；服务器的视线引导点优化和下发模块根据用户当前和历史视点数据，获取用户的观看特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视线引导的全景视频传输系统，基于全景视频切块的多播传输系统进行改进，其特征在于，所述基于视线引导的全景视频传输系统，在服务器中设置视线引导点优化和下发模块，在客户端设置视线引导结果呈现模块；客户端实时获取用户当前视点并发送给服务器；服务器的视线引导点优化和下发模块根据用户当前视点、用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型，并计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置，将优化的视线引导位置发送给客户端；客户端的视线引导结果呈现模块将从服务器中获取的视线引导位置展示给用户，供用户选择。2.根据权利要求1所述的系统，其特征在于，所述的视线引导点优化和下发模块，建立视线引导后的用户视点位置的统计模型，包括：首先，确定视线引导位置z，设用户k当前的视点为p
k
，用户k以概率φ
k
接受引导，朝向z移动，设移动后的视点为若不接受引导，用户视点将变至根据p
k
预测的视点视点和视线引导位置均为复数，实部与虚部分别对应位置的经度和纬度坐标；然后，根据用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型；用u
k
(z)表示用户k观看各分块的概率，如下：其中，向量分别表示根据视点传输给用户k的分块。3.根据权利要求1或2所述的系统，其特征在于，所述的视线引导点优化和下发模块，最小化系统平均传输流量和用户视点偏移的加权和的目标函数如下：min J(z)＝R(z)+λD(z)其中,0≤Re(z)≤1，0≤Img(z)≤1其中，z表示视线引导位置，R(z)表示系统平均传输流量，D(z)表示所有用户的视点偏移距离和，λ为权重，J(z)为系统平均传输流量和用户视点偏移的加权和；Re(z)、Img(z)分别为z的实部与虚部，对应视线引导位置的经度和纬度坐标。4.一种基于视线引导的全景视频传输方法，其特征在于，包括如下步骤：步骤1，客户端实时获取用户当前视点并发送给服务器；步骤2，服务器计算当前视线引导后用户的视点位置，包括：首先，确定视线引导位置z，设用户k当前的视点为p
k
，用户k以概率φ
k
接受引导，朝向z移动，设移动后的视点为若不接受引导，用户视点将变至根据p
k
预测的视点视点和视线引导位置均为复数，实部与虚部分别对应位置的经度和纬度坐标；然后，根据用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型；其中，将全景视频的球形画面投影至平面的画面在经纬度上切分为M块与N块，用N
×
M维度的向量w(p
k
)记录传输给用户k的分块，传输的分块需覆盖用户的视野，向量w(p
k
)的每一个维度的数值取1时表示传输该分块，取0时表示不传输该分块；将传输给各用户的分块
向量加和后得到总传输向量w；w的每一个非零元素表示该分块在当前时段被请求的次数，需要且只需被传输一次；步骤3，计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置；其中，最小化系统平均传输流量和用户视点偏移的加权和的目标函数如下：min J(z)＝R(z)+λD(z)其中,0≤Re(z)≤1，0≤Img(z)≤1R(...

【专利技术属性】
技术研发人员：韩圣千，代雨薇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：