沉浸式视频超分辨率方法及相关设备技术

本申请提供一种沉浸式视频超分辨率方法，通过对视频文件进行解码，并为关键帧分配独立的关键帧传播分支获取关键帧特征，从而确保关键帧内记载的信息能够被充分利用；并且为关键帧分配前向传播分支与后向传播分支，从而使非关键帧能够进一步利用关键帧所记载的信息；通过使非关键帧所对应的前向传播分支与后向传播分支交替设置，减少了不必要的传播分支，从而降低了全景视频超分辨率时所需的运算量；在获取关键帧与非关键帧对应的特征后，再分别对关键帧与非关键帧进行超分辨率，获取高清关键帧、第一高清非关键帧与第二高清非关键帧，并将其拼接为高清沉浸式视频文件。

【技术实现步骤摘要】

本申请涉及视频超分辨率，尤其涉及一种沉浸式视频超分辨率方法及相关设备。

技术介绍

1、随着技术发展和社会创新，沉浸式视频技术越来越受到公众的青睐。与传统视频从单一视角捕捉场景不同，沉浸式视频通过在原地多角度拍摄，实现了全方位的场景覆盖。观众可以使用专门的头戴式显示器，通过头部动作来控制视角，或者在电脑屏幕上用鼠标和键盘进行视频探索，打破了传统视频视角的局限，提供了沉浸式的观看感受。与传统视频相比，为了提供满意的沉浸式体验，全景视频通常需要以4k或8k分辨率传输，这不仅增加了数据量，也对网络带宽提出了更高要求。

2、在传统视频的传输中，为了降低服务器带宽负担，并使更广泛的用户群体能够接触到沉浸式视频，目前普遍采用互联网传输低质量视频，并在客户端对低质量视频进行超分辨率的方式实现对传统视频的传输。

3、目前针对传统视频的超分辨率模型具有较为复杂的结构，将其直接应用于沉浸式视频的超分辨率操作中会使客户端设备所需处理的数据量显著增加，导致性能较差的客户端设备对沉浸式视频的超分辨率处理时间过长。

>技术实现思路...

【技术保护点】

1.一种沉浸式视频超分辨率方法，包括：

2.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述关键帧传播分支包括关键帧光流估计模块、关键帧特征对齐模块与关键帧残差模块；

3.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述前向传播分支包括第一光流估计模块、第一特征对齐模块与第一残差模块；

4.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述后向传播分支包括第二光流估计模块、第二特征对齐模块与第二残差模块；

5.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述基于与所述关键帧对应的所述关键帧特征、所述第一特征与所述第二特...

【技术特征摘要】

1.一种沉浸式视频超分辨率方法，包括：

2.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述关键帧传播分支包括关键帧光流估计模块、关键帧特征对齐模块与关键帧残差模块；

3.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述前向传播分支包括第一光流估计模块、第一特征对齐模块与第一残差模块；

4.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述后向传播分支包括第二光流估计模块、第二特征对齐模块与第二残差模块；

5.根据权利要求1所述的沉浸式视频超分辨率方法，其中，所述基于与所述关键帧对应的所述关键帧特征、所述第一特征与所述第二特征，对所述关键帧进行超分辨...

【专利技术属性】
技术研发人员：肖寒，许长桥，程阳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：