一种基于帧间特征对齐的视频同步时空超分方法技术

本发明专利技术提供了一种基于同步时空超分的用于生成高帧率高分辨率视频的方法和系统。方法包括：将视频文件逐一抽帧形成视频帧序列；对每一对相邻帧进行特征提取以获得特征向量，并且通过帧间运动对齐网络获得帧间运动表示向量；利用RBPN来对所述相邻帧进行超分辨以得到所述相邻帧所对应的高分辨帧向量和低分辨帧向量；利用时空超分网络来生成插入帧所对应的高分辨帧向量和低分辨帧向量；将所述相邻帧和所述插入帧所对应的高分辨帧向量进行优化以得到所述相邻帧和所述插入帧所对应的目标高分辨向量并且通过升采样生成三个目标视频帧；以及将所生成的各目标视频帧重新编码为高帧率高分辨率的视频。率高分辨率的视频。率高分辨率的视频。

【技术实现步骤摘要】
一种基于帧间特征对齐的视频同步时空超分方法


[0001]本专利技术涉及人工智能及图像处理领域，更具体地，涉及基于帧间特征对齐的视频同步时空超分方法。

技术介绍

[0002]视频插帧和视频超分是当前学界和工业届在视频增强邻域的热点，视频插帧技术可以将提升视频的帧率，让视频在观感上更加“丝滑”。视频插帧技术主要有以DVF为代表的传统线性插帧和以DAIN为代表的基于深度学习的插帧技术。视频超分技术可以提升视频的分辨率，通过视频超分技术，可以将540P视频提升为4K画质的视频。视频超分方法以深度学习算法为主，具有代表性的模型有VSR、RBPN、Zooming Slow
‑
Mo等方法。视频插帧和视频超分合起来可以称作时空超分任务，很多研究已经注意到了时间超分和空间超分之间的关联关系，让时间超分和空间超分之间能够相互协助，从而实现更好的超分结果。
[0003]近年来支持2K乃至4K的电视逐渐普及，一些老旧的影视节目在这些高清显示设备上显示效果差，影响用户观看体验。现有的视频时空超分技术大多是基于相邻帧的光流图来进行对齐，依赖于光流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于同步时空超分的用于生成高帧率高分辨率视频的方法，其特征在于，所述方法包括：将视频文件逐一抽帧形成视频帧序列；对于所述视频帧序列中的每一对相邻帧进行如下操作：对所述相邻帧进行特征提取以获得所述相邻帧所对应的特征向量，并且通过帧间运动对齐网络获得帧间运动表示向量；利用循环反投影网络RBPN来对所述相邻帧进行超分辨以得到所述相邻帧所对应的高分辨帧向量和低分辨帧向量；利用使用升采样模块和金字塔模块构建的时空超分网络来生成插入帧所对应的高分辨帧向量和低分辨帧向量；将所述相邻帧和所述插入帧所对应的高分辨帧向量进行优化以得到所述相邻帧和所述插入帧所对应的目标高分辨向量并且通过升采样生成三个目标视频帧；以及将对所述视频帧序列中的每一对相邻帧进行处理之后所生成的各目标视频帧重新编码为高帧率高分辨率的视频。2.如权利要求1所述的方法，其特征在于，所述通过帧间运动对齐网络获得帧间运动表示向量进一步包括：将所述相邻帧所对应的特征向量拼接后输入卷积层进行初步对齐；输入瓶颈卷积层减少通道数；以及输入残差块完成对齐，以得到对齐后的帧间运动表示向量。3.如权利要求1所述的方法，其特征在于，所述利用循环反投影网络RBPN来对所述相邻帧进行超分辨进一步包括：将所述相邻帧拼接后输入卷积层进行融合和升维；与所述帧间运动表示向量拼接后输入所述RBPN以得到所述相邻帧所对应的高分辨帧向量；以及通过降采样获得所述相邻帧所对应的低分辨帧向量。4.如权利要求1所述的方法，其特征在于，所述利用时空超分网络来生成插入帧所对应的高分辨帧向量和低分辨帧向量进一步包括：将所述相邻帧所对应的高分辨帧向量和所述帧间运动表示向量拼接后分别输入由残差块和反卷积模块组成的升采样模块和金字塔模块；将两者的输出融合计算后获得所述插入帧所对应的高分辨帧向量；以及通过降采样获得所述插入帧所对应的低分辨帧向量。5.如权利要求1所述的方法，其特征在于，将所述相邻帧和所述插入帧所对应的高分辨帧向量进行优化进一步包括：将所述相邻帧和所述插入帧的低分辨帧向量以及帧间运动表示向量拼接后进行升采样所得的结果与所述相邻帧的高分辨帧向量融合计算得到所述相邻帧所对应的目标高分辨帧向量；通过降采样获得所述相邻帧所对应的目标低分辨帧向量；以及将所述相邻帧所对应的目标低分辨帧向量与所述插入帧的低分辨帧向量以及帧间运动表示向量拼接后进行升采样所得的结果与所述插入帧所对应的高分辨帧向量融合计算
得到所述插入帧所对应的目标高分辨帧向量。6.一种基于同步时空超分的用于...

【专利技术属性】
技术研发人员：吕超，吴宇松，史国杰，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：