视频的超分辨率处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种视频的超分辨率处理方法、装置、电子设备及存储介质，所述方法包括：通过超分辨网络对待处理视频进行正向传播，得到当前视频帧的当前隐层特征以及目标视频帧的目标隐层特征，目标视频帧包括当前视频帧之前的N帧视频帧和之后的N帧视频帧中的至少一个，N为任意正整数；对目标隐层特征和当前隐层特征进行特征提取，得到目标空间特征图和当前空间特征图；根据当前空间特征图、目标空间特征图，以及当前视频帧的初始超分视频帧，生成当前视频帧的超分辨特征；根据超分辨特征，得到超分视频帧。根据本公开的技术方案，采用步长N的局部时序的往返优化策略，实现实时地对视频进行超分辨处理，提高了视频的超分辨处理实时性。提高了视频的超分辨处理实时性。提高了视频的超分辨处理实时性。

【技术实现步骤摘要】
视频的超分辨率处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频的超分辨率处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]视频超分辨是通过利用输入帧间的互补信息来填充低分辨到高分辨所缺失的细节。随着短视频时代的发展，视频超分辨技术被广泛应用在服务端的视频增强上。
[0003]相关技术中，可以采用双向循环卷积网络(例如BasicVSR、GOVSR)处理视频的超分辨任务。双向循环卷积网络会先进行正向的隐层特征传播，即从视频的起始帧向结尾帧传播，将过去一个时刻的网络输出结果传送给下一个时刻。在正向传播结束后，存储每个时刻的正向网络输出结果。然后，再进行反向的隐层特征传播，即从视频的结尾帧向起始帧传播。在反向传播结束后，存储每个时刻的反向网络输出结果。最后，基于每个时刻对应的正向网络输出结果和反向网络输出结果生成每个时刻对应的超分辨结果。但是，由于基于双向循环卷积网络的方法需要依次进行正向传播和反向传播才能得到超分辨结果，从而影响超分辨结果的输出实时性。
专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的超分辨处理方法，其特征在于，包括：通过超分辨网络对待处理视频进行正向传播，针对所述待处理视频中的当前视频帧，得到所述当前视频帧对应的当前隐层特征以及目标视频帧对应的目标隐层特征，所述目标视频帧包括所述当前视频帧之前的N帧视频帧和所述当前视频帧之后的N帧视频帧中的至少一个，所述N为任意正整数；对所述目标隐层特征进行特征提取，得到目标空间特征图；对所述当前隐层特征进行特征提取，得到当前空间特征图；根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征；根据所述超分辨特征，得到所述当前视频帧的超分视频帧。2.根据权利要求1所述的视频的超分辨处理方法，其特征在于，所述根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征，包括：对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图；采用所述时序特征图对所述目标空间特征图进行变换处理，得到变换特征图；根据所述变换特征图、所述当前空间特征图以及所述初始超分视频帧，生成所述当前视频帧对应的超分辨特征。3.根据权利要求2所述的视频的超分辨处理方法，其特征在于，所述对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图，包括：通过第一特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至未来时刻方向的第一时序特征图；通过第二特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至过去时刻方向的第二时序特征图。4.根据权利要求3所述的视频的超分辨处理方法，其特征在于，所述采用所述时序特征图对所述目标空间特征图进行变换处理，得到变换特征图，包括：在所述目标视频帧为所述当前视频帧之前的N帧视频帧情况下，获取所述当前视频帧之前的N帧视频帧的N个第一时序特征图的第一加权和，获取所述当前视频帧之前的第N个视频帧对应的目标空间特征图与所述第一加权和之差，作为所述变换特征图；在所述目标视频帧为所述当前视频帧之后的N帧视频帧情况下，获取所述当前视频帧之后的N帧视频帧的N个第二时序特征图的第二加权和，获取所述当前视频帧之后的第N个视频帧对应的目标空间特征图与所述第二加权和之差，作为所述变换特征图；在所述目标视频帧为所述当前视频帧...

【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：