视频超分处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请适用于图像处理技术领域，提供了一种视频超分处理方法、装置、电子设备及可读存储介质，方法包括：获取待处理视频，将待处理视频转换成视频图像序列；对视频图像序列进行超分处理，得到视频图像序列中的各视频图像对应的超分辨率图像。本申请可以实现对视频进行超分处理。分处理。分处理。

【技术实现步骤摘要】
视频超分处理方法、装置、电子设备及可读存储介质


[0001]本申请属于图像处理
，尤其涉及一种视频超分处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]视频超分处理，通常是指将视频中的图像的分辨率从当前分辨率提升至更高分辨率，例如，将视频中的图像的分辨率从2K的分辨率提升至4k分辨率，这样，可以提高视频的画面清晰度。
[0003]相关技术中，存在对视频进行超分处理的应用需求。

技术实现思路

[0004]本申请实施例提供了一种视频超分处理方法、装置、电子设备及可读存储介质，旨在解决相关技术中需要对视频进行超分处理的问题。
[0005]第一方面，本申请实施例提供了一种视频超分处理方法，包括：
[0006]获取待处理视频，将待处理视频转换成视频图像序列；
[0007]对视频图像序列进行超分处理，得到视频图像序列中的各视频图像对应的超分辨率图像。
[0008]第二方面，本申请实施例提供了一种模型生成方法，包括：
[0009]获取训练样本序列，训练样本序列中的训练样本包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频超分处理方法，其特征在于，包括：获取待处理视频，将所述待处理视频转换成视频图像序列；对所述视频图像序列进行超分处理，得到所述视频图像序列中的各视频图像对应的超分辨率图像。2.根据权利要求1所述的方法，其特征在于，所述对所述视频图像序列进行超分处理，得到所述视频图像序列中的各视频图像对应的超分辨率图像，包括：从所述视频图像序列中选取视频图像作为当前视频图像，以及执行如下超分处理步骤：将所述当前视频图像和所述当前视频图像的邻近视频图像输入已训练的超分处理模型中进行处理，输出所述当前视频图像对应的超分辨率图像；其中，所述已训练的超分处理模型对所述当前视频图像和所述邻近视频图像的处理包括：分别提取所述当前视频图像和所述邻近视频图像的卷积特征，对提取得到的多个卷积特征进行对齐，并根据对齐后的卷积特征确定所述当前视频图像对应的超分辨率图像；将所述当前视频图像的下一帧视频图像确定为当前视频图像，继续执行所述超分处理步骤；输出所述视频图像序列中的各视频图像对应的超分辨率图像。3.根据权利要求2所述的方法，其特征在于，所述分别提取所述当前视频图像和所述邻近视频图像的卷积特征，包括：分别将所述当前视频图像和所述邻近视频图像中的各视频图像输入第一卷积神经网络，得到所述当前视频图像和所述邻近视频图像中的各视频图像的卷积特征；其中，一个视频图像对应一个卷积特征。4.根据权利要求3所述的方法，其特征在于，所述邻近视频图像包括所述当前视频图像的上一帧视频图像和所述当前视频图像的下一帧视频图像；以及所述分别将所述当前视频图像和所述邻近视频图像中的各视频图像输入第一卷积神经网络，得到所述当前视频图像和所述邻近视频图像中的各视频图像的卷积特征，包括：将所述当前视频图像输入第一卷积神经网络，得到所述当前视频图像的卷积特征；将所述当前视频图像的上一帧视频图像输入所述第一卷积神经网络，得到所述当前视频图像的上一帧视频图像的卷积特征；将所述当前视频图像的下一帧视频图像输入所述第一卷积神经网络，得到所述当前视频图像的下一帧视频图像的卷积特征。5.根据权利要求2所述的方法，其特征在于，所述邻近视频图像包括所述当前视频图像的上一帧视频图像和所述当前视频图像的下一帧视频图像；以及所述对提取得到的多个卷积特征进行对齐，包括：采用光流估计网络提取所述当前视频图像的上一帧视频图像到所述当前视频图像之间的第一光流特征，以及根据所述第一光流特征对所述当前视频图像的上一帧视频图像的卷积特征进行仿射变换，得到第一信息；采用所述光流估计网络提取所述当前视频图像的下一帧视频图像到所述当前视频图像之间的第二光流特征，以及根据所述第二光流特征对所述当前视频图像的下一帧视频图像的卷积特征进行仿射变换，得到第二信息；其中，所述第一信息为所述当前视频图像的上一帧视频图像的卷积特征向所述当前视
频图像的卷积特征进行对齐后的新的卷积特征，所述第二信息为所述当前视频图像的下一帧视频图像的卷积特征向所述当前视频图像的卷积特征进行对齐后的新的卷积特征。6.根据权利要求2
‑
5任一所述的方法，其特征在于，所述邻近视频图像包括所述当前视频图像的上一帧视频图像和所述当前视频图像的下一帧视频图像，所述当前视频图像的上一帧视频图像的卷积特征向所述当前视频图像的卷积特征进行对齐后的新的卷积特征为第一信息，所述当前视频图像的下一帧视频图像的卷积特征向所述当前视频图像的卷积特征进行对齐后的新的卷积特征为第二信息，且所述已训练的超分处理模型为循环神经网络模型；以及所述根据对齐后的卷积特征确定所述当前视频图像对应的超分辨率图像，包括：将所述第一信息、所述第二信息和所述当前视频图像的卷积特征拼接，得到融合特征；根据所述融合特征和循环神经网络模型的上一时刻的隐含层特征，确定所...

【专利技术属性】
技术研发人员：王树朋，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：