【技术实现步骤摘要】
一种基于感知敏感值的360度视频流传输方法及系统
[0001]本专利技术涉及视频监控领域，尤其涉及一种基于感知敏感值的360度视频流传输方法及系统。
技术介绍
[0002]随着工业智能的不断发展，虚拟现实(Virtual Reality，VR)技术获得空前关注。360度视频(或全景视频、沉浸式视频)由于其沉浸式的交互体验、全方位的立体呈现，在数字孪生、工业视频监控等领域有着广泛应用。360视频通过球面映射将球形视频转化为平面视频，以进行后续的球面旋转、平面区域压缩等内容预处理。其最低分辨率要求为4K(4096*2160)，而常用的头戴式交互设备如Oculus Quest或HTC Vive Cosmos等录制的360度视频的分辨率为10K(10240*4320)。因此，360度视频流传输比传统平面视频流传输需要更高的带宽，且传输系统的复杂度急剧增加。如何设计高效的360度视频流传输方法，对于保障工业视频监控具有重要意义。
[0003]另外，频繁、快速的用户视角变换导致传输系统需要快速响应对应视角(Field
‑
【技术保护点】
【技术特征摘要】
1.一种基于感知敏感值的360度视频流传输方法，其特征在于，包括以下步骤：步骤1、对视频内容提供端提供的360度视频进行时域上的切分，得到同等时间长度的视频片段；步骤2、设置i＝1，初始化系统参数；步骤3、对视频片段的首帧进行目标检测；步骤4、视角预测模块根据历史用户视角轨迹预测用户下一时刻视角；步骤5、视频空间分片模块根据感知敏感值(Perception Sensitivity Value，PSV)对每个视频块进行空间分片；步骤6、QoE监测模块计算用户当前时刻的QoE，用户QoE为用户视域内的视频质量减去视频质量改变；步骤7、计算端到端时延和监控任务精度；步骤8、分片码率自适应模块对各空间分片进行自适应码率分配；步骤9、监控播放器模块接收来自分片码率自适应模块计算的各个空间分片的码率分配，在监控播放器渲染并显示用户视角所需的360度视频；步骤10、设置i＝i+1；步骤11、判断i是否为最后一个视频块；若是，则结束；否则，跳至所述步骤3。2.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤3，目标检测算法包括SSD、YOLO、Fast RCNN可以在视频帧上检测出目标并标出目标检测框的算法。3.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤4，视角预测模块采用基于脊回归的在线算法，利用前T个时刻的历史视角预测下一时刻的用户视角，其中T是时间周期的下标。4.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤5，包括以下步骤：步骤5.1、对每个视频块进行细粒度M*N网格状空间分片，得到的每一个细粒度空间分片称为原子分片，原子分片为可独立编码、解码的最小单元；步骤5.2、计算每个原子分片的感知敏感值σ；步骤5.3、原子分片聚合成有效分片；原子分片的聚合方法采取自底向上的聚合，以目标检测框的中心点所在的原子分片作为种子，进行区域生长，得到有效分片；有效分片为一个或若干个原子分片构成的连通集；有效分片为最终空间分片结果。5.如权利要求4所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤5.2，感知敏感值σ＝σ1+σ2+σ3；其中σ1为原子分片与目标检测框的交并比，σ2为原子分片与所述步骤4得到的预测用户视角的交并比，σ3为目标相对于用户视点的相对移动速度，其中目标的移动采用卡尔曼滤波对目标的运动进行估计。6.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤6，用户视域内的视频质量为用户视域内的有效分片的平均码率；视频质量改变包括时域视频质量改变和空域视频质量改变，时域视频质量改变为当前视频块的空间分片和上一时刻的空间分片的平均码率改变，空域视频质量改变为当前视频块的空间分片码率集合的离散方差。
7.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤7，播放等待时间为下载当前视频块所需时间加上当前视频块的解码时间，减去下载视频块时的缓存占用和视频块时长，监控任务处理时延和监控任务精度从监控播放器实时获取。8.如权利要求1所述的基于感知敏感值的360度视频流传输方法，其特征在于，所述步骤8，自适应码率分配包括以下步...
【专利技术属性】
技术研发人员：许齐敏，涂静正，陈彩莲，关新平，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。