图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取视频片段中第x+1个视频帧的反向传播特征及第x‑1个视频帧的正向传播特征中的至少一项，其中，视频片段包括N个视频帧，N为大于2的整数，x为整数；根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x‑1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征；根据所述第x个视频帧的重构特征对第x个视频帧进行重构，得到与第x个视频帧对应的目标视频帧，所述目标视频帧的分辨率高于所述第x个视频帧的分辨率。本公开实施例可实现提高高分辨率图像的重构效率，降低计算成本。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像方法及装置、电子设备和存储介质。
技术介绍
视频超分辨率旨在给定低分辨率视频的情况下重建对应的高分辨率视频。相关技术采用多个低分辨率视频帧预测一个高分辨率视频帧，由于重复进行特征提取和运动补偿导致耗时长，效率低下，并且当采用的低分辨率视频帧的帧数较小时，会导致忽略来自较远帧的信息，从而导致精准度不够，但是采用的低分辨率视频帧的帧数较大时，又会显着增加计算成本。
技术实现思路
本公开提出了一种用于重建高分辨率视频帧的技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：获取视频片段中第x+1个视频帧的反向传播特征及第x-1个视频帧的正向传播特征中的至少一项，其中，视频片段包括N个视频帧，N为大于2的整数，x为整数；根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征；根据所述第x个视频帧的重构特征对第x个视频帧进行重构，得到与第x个视频帧对应的目标视频帧，所述目标视频帧的分辨率高于所述第x个视频帧的分辨率。在一种可能的实现方式中，1<x<N，所述根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：根据所述第x个视频帧、所述第x+1个视频帧及所述第x+1个视频帧的反向传播特征，确定所述第x个视频帧的反向传播特征；根据所述第x个视频帧、所述第x-1个视频帧、所述第x-1个视频帧的正向传播特征及所述第x个视频帧的反向传播特征，确定所述第x个视频帧的正向传播特征；将所述第x个视频帧的正向传播特征作为所述第x个视频帧的重构特征。在一种可能的实现方式中，所述根据所述第x个视频帧、第x+1个视频帧及所述第x+1个视频帧的反向传播特征，确定所述第x个视频帧的反向传播特征，包括：根据所述第x个视频帧及所述第x+1个视频帧，得到第一光流图；根据所述第一光流图对所述第x+1个视频帧的反向传播特征进行扭曲，得到扭曲后的反向传播特征；根据所述扭曲后的反向传播特征及所述第x个视频帧，得到所述第x个视频帧的反向传播特征。在一种可能的实现方式中，所述根据所述第x个视频帧、所述第x-1个视频帧、所述第x-1个视频帧的正向传播特征、及所述第x个视频帧的反向传播特征，确定所述第x个视频帧的正向传播特征，包括：根据所述第x个视频帧及所述第x-1个视频帧，得到第二光流图；根据所述第二光流图对所述第x-1个视频帧的正向传播特征进行扭曲，得到扭曲后的正向传播特征；根据所述第x个视频帧的反向传播特征、所述扭曲后的正向传播特征、及所述第x个视频帧，得到所述第x个视频帧的正向传播特征。在一种可能的实现方式中，1<x<N，所述根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：根据所述第x个视频帧、所述第x-1个视频帧及所述第x-1个视频帧的正向传播特征，确定所述第x个视频帧的正向传播特征；根据所述第x个视频帧、所述第x+1个视频帧、所述第x+1个视频帧的反向传播特征及所述第x个视频帧的正向传播特征，确定所述第x个视频帧的反向传播特征；将所述第x个视频帧的反向传播特征作为所述第x个视频帧的重构特征。在一种可能的实现方式中，所述根据所述第x个视频帧、所述第x-1个视频帧、及所述第x-1个视频帧的正向传播特征，确定所述第x个视频帧的正向传播特征，包括：根据所述第x个视频帧及所述第x-1个视频帧，得到第二光流图；根据所述第二光流图对所述第x-1个视频帧的正向传播特征进行扭曲，得到扭曲后的正向传播特征；根据所述扭曲后的正向传播特征及所述第x个视频帧，得到所述第x个视频帧的正向传播特征。在一种可能的实现方式中，所述根据所述第x个视频帧、所述第x+1个视频帧、所述第x+1个视频帧的反向传播特征、及所述第x个视频帧的正向传播特征，确定所述第x个视频帧的反向传播特征，包括：根据所述第x个视频帧及所述第x+1个视频帧，得到第一光流图；根据所述第一光流图对所述第x+1个视频帧的反向传播特征进行扭曲，得到扭曲后的反向传播特征；根据所述第x个视频帧的正向传播特征、所述扭曲后的反向传播特征及所述第x个视频帧，得到所述第x个视频帧的反向传播特征。在一种可能的实现方式中，x＝1，所述根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：对所述第x个视频帧进行特征提取，得到所述第x个视频帧的正向传播特征；将所述第x个视频帧的正向传播特征作为所述第x个视频帧的重构特征。在一种可能的实现方式中，x＝N，根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：对所述第x个视频帧进行特征提取，得到所述第x个视频帧的反向传播特征；将所述第x个视频帧的正向传播特征作为所述第x个视频帧的重构特征.在一种可能的实现方式中，x＝1，根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：针对第x个视频帧，获取第x+1个视频帧的反向传播特征；根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征，得到所述第x个视频帧的正向传播特征；将所述第x个视频帧的正向传播特征作为所述第x个视频帧的重构特征。在一种可能的实现方式中，x＝N，根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：针对第x个视频帧，获取第x-1个视频帧的正向传播特征；根据所述第x个视频帧、所述第x-1个视频帧的正向传播特征，得到所述第x个视频帧的反向传播特征；将所述第x个视频帧的反向传播特征作为所述第x个视频帧的重构特征。在一种可能的实现方式中，所述方法还包括：确定视频数据中的至少两个关键帧；根据所述关键帧将所述视频数据划分为至少一个视频片段。根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取视频片段中第x+1个视频帧的反向传播特征及第x-1个视频帧的正向传播特征中的至少一项，其中，视频片段包括N个视频帧，N为大于2的整数，x为整数；第一处理模块，用于根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取视频片段中第x+1个视频帧的反向传播特征及第x-1个视频帧的正向传播特征中的至少一项，其中，视频片段包括N个视频帧，N为大于2的整数，x为整数；/n根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征；/n根据所述第x个视频帧的重构特征对第x个视频帧进行重构，得到与第x个视频帧对应的目标视频帧，所述目标视频帧的分辨率高于所述第x个视频帧的分辨率。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取视频片段中第x+1个视频帧的反向传播特征及第x-1个视频帧的正向传播特征中的至少一项，其中，视频片段包括N个视频帧，N为大于2的整数，x为整数；
根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征；
根据所述第x个视频帧的重构特征对第x个视频帧进行重构，得到与第x个视频帧对应的目标视频帧，所述目标视频帧的分辨率高于所述第x个视频帧的分辨率。


2.根据权利要求1所述的方法，其特征在于，1<x<N，所述根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：
根据所述第x个视频帧、所述第x+1个视频帧及所述第x+1个视频帧的反向传播特征，确定所述第x个视频帧的反向传播特征；
根据所述第x个视频帧、所述第x-1个视频帧、所述第x-1个视频帧的正向传播特征及所述第x个视频帧的反向传播特征，确定所述第x个视频帧的正向传播特征；
将所述第x个视频帧的正向传播特征作为所述第x个视频帧的重构特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第x个视频帧、第x+1个视频帧及所述第x+1个视频帧的反向传播特征，确定所述第x个视频帧的反向传播特征，包括：
根据所述第x个视频帧及所述第x+1个视频帧，得到第一光流图；
根据所述第一光流图对所述第x+1个视频帧的反向传播特征进行扭曲，得到扭曲后的反向传播特征；
根据所述扭曲后的反向传播特征及所述第x个视频帧，得到所述第x个视频帧的反向传播特征。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第x个视频帧、所述第x-1个视频帧、所述第x-1个视频帧的正向传播特征、及所述第x个视频帧的反向传播特征，确定所述第x个视频帧的正向传播特征，包括：
根据所述第x个视频帧及所述第x-1个视频帧，得到第二光流图；
根据所述第二光流图对所述第x-1个视频帧的正向传播特征进行扭曲，得到扭曲后的正向传播特征；
根据所述第x个视频帧的反向传播特征、所述扭曲后的正向传播特征、及所述第x个视频帧，得到所述第x个视频帧的正向传播特征。


5.根据权利要求1所述的方法，其特征在于，1<x<N，所述根据所述第x个视频帧、所述第x+1个视频帧的反向传播特征和所述第x-1个视频帧的正向传播特征中的至少一项，得到所述第x个视频帧的重构特征，包括：
根据所述第x个视频帧、所述第x-1个视频帧及所述第x-1个视频帧的正向传播特征，确定所述第x个视频帧的正向传播特征；
根据所述第x个视频帧、所述第x+1个视频帧、所述第x+1个视频帧的反向传播特征及所述第x个视频帧的正向传播特征，确定所述第x个视频帧的反向传播特征；
将所述第x个视频帧的反向传播特征作为所述第x个视频帧的重构特征。


6.根据权利要求5所述的方法，其特征在于，所述根据所述第x个视频帧、所述第x-1个视频帧、及所述第x-1个视频帧的正向传播特征，确定所述第x个视频帧的正向传播特征，包括：
根据所述第x个视频帧及所述第x-1个视频帧，得到第二光流图；
根据所述第二光流图对所述第x-1个视频帧的正向传播特征进行扭曲，得到扭曲后的正向传播特征；
根据所述扭曲后的正向传播特征及所述第x个视频帧，得到所述第x个视频帧的正向传播特征。


7.根据权利要求5或6所述的方法，其特征在于，所述根据所述第x个视频帧、所述第x+1个视频帧、所述第x+1个...

【专利技术属性】
技术研发人员：陈焯杰，余可，王鑫涛，董超，吕健勤，汤晓鸥，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11