一种视频图像超分辨率重建方法及设备技术

本发明专利技术适用于图像处理技术领域，提供了一种视频图像超分辨率重建方法及设备，包括：获取待处理的目标视频；所述目标视频由多个连续的低分辨率的视频帧组成；将所述目标视频输入到视频超分辨率重建模型进行处理，获取所述目标视频中每个低分辨率视频帧对应的高分辨率视频帧；将所有所述目标帧的超分辨率视频帧合成获取所述目标视频的高分辨率视频。上述方法中，通过动态上采样滤波器来隐式地学习帧间运动信息，只通过训练好的视频超分辨率重建模型，即可获取最终的重建结果，在实际使用过程中，无需进行网络的训练，也没有光流估计的过程，提升了视频超分辨率重建的效果。

【技术实现步骤摘要】
一种视频图像超分辨率重建方法及设备
本专利技术属于图像处理
，尤其涉及一种视频图像超分辨率重建方法及设备。
技术介绍
近年来，超分辨率重建一直是研究的热点问题，它能够为图像提供额外的显示分辨率和高分辨率的细节纹理，而由于视频拥有更多的图像信息和图像的时间序列信息，所以视频超分辨率重建实现起来更加的复杂。现有的视频超分辨率重建方法为：将连续的多个视频帧作为网络的输入，先进行运动估计来学习帧间的运动信息，然后对处理帧和运动信息进行超分辨率重建，得到最终的重建结果。但是，这中方法常需要分开训练两个网络，即运动估计网络和残差学习网络，在这个过程中，由于光流估计会出现不准确的情况，会导致视频超分辨率重建的效果差。
技术实现思路
有鉴于此，本专利技术实施例提供了一种视频图像超分辨率重建方法及终端设备，以解决现有技术中由于光流估计会出现不准确的情况，导致视频超分辨率重建的效果差的问题。本专利技术实施例的第一方面提供了一种视频图像超分辨率重建方法，包括：获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。本专利技术实施例的第二方面提供了一种视频图像超分辨率重建设备，包括：第一获取单元，用于获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；第一处理单元，用于将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；合成单元，用于将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。本专利技术实施例的第三方面提供了一种视频图像超分辨率重建设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的视频图像超分辨率重建方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频图像超分辨率重建方法的步骤。本专利技术实施例中，获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。上述方法中，通过动态上采样滤波器来隐式地学习帧间运动信息，只通过训练好的视频超分辨率重建模型，即可获取最终的重建结果，在实际使用过程中，无需进行网络的训练，也没有光流估计的过程，提升了视频超分辨率重建的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种视频图像超分辨率重建方法的实现流程图；图2是本专利技术实施例提供的一种视频图像超分辨率重建方法中S102的实现流程图；图3是本专利技术实施例提供的另一种视频图像超分辨率重建方法的实现流程图；图4是本专利技术实施例提供的另一种视频图像超分辨率重建方法中S201的实现流程图；图5是本专利技术实施例提供的另一种视频图像超分辨率重建方法中S202的实现流程图；图6是本专利技术实施例提供的一种视频图像超分辨率重建设备的示意图；图7是本专利技术实施例提供的一种视频图像超分辨率重建设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。请参见图1，图1是本专利技术实施例提供的一种视频图像超分辨率重建方法的实现流程图。本实施例中视频图像超分辨率重建方法的执行主体为设备，例如，视频图像超分辨率重建设备，该设备包括但不限于服务器、智能电视、智能手机、和台式计算机等等。如图所示的视频图像超分辨率重建方法可包括：S101：获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成。设备检测到用户触发的视频图像超分辨率重建的指令时，获取待处理的目标视频。其中，待处理的目标视频可以是设备本地存储的，也可以是设备通过网络远程接收到的。用户可以通过在虚拟屏幕上对视频进行选择，选中的视频即为待处理的目标视频。其中，目标视频是有多个第一分辨率的视频帧组成，其中，第一分辨率的视频帧具体为分辨率较低的视频帧，图像低分辨率和高分辨率的标准在不同的应用领域是不用的，在实际应用过程中，可以根据实际的应用场景进行设定。例如，在电视领域，通常把物理分辨率达到720p以上的格式则称作为高清，英文表述HighDefinition，简称HD。所谓全高清(FullHD)，是指物理分辨率高达1920×1080逐行扫描，即1080p高清，是目前顶级的高清规格。S102：将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率。设备中可以预先设置预先训练好的视频超分辨率重建模型，也可以从其他设备中调用预先训练好的预先训练好的视频超分辨率重建模型。预先训练好的视频超分辨率重建模型可以包括输入层、隐含层、输出层(损失函数层)。输入层包括一个输入层节点，用于从外部接收输入的视频信息。隐含层用于对视频信息进行处理，提取高分辨率视频帧。输出层用于输出高分辨率视频帧。本实施例中，预设的视频超分辨率重建模型在训练过程中，视频帧超分辨率重建模型的输入为样本视频帧组中的目标帧，视频超分辨率重建模型的输出为目标帧的高分辨率视频帧。其中，在训练的过程中，设备将样本视频进行分帧处理，并且将样本视频帧进行分组得到目标样本视频帧组，设备可以从样本视频帧组中任意选择一视频帧作为目标帧，例如第一帧、最后一帧或中间帧等。也可以按照预设规则选择一帧作为目标帧，该预设规则可以为：选择中间帧作为目标帧、选择第二帧作为目标帧等，此处不做限定。其中，第一分辨率小于第二分辨率，第二分辨率的视频帧具体为分辨率较高的视频帧，图像高分辨率的标准在不同的应用领域本文档来自技高网...

【技术保护点】
1.一种视频图像超分辨率重建方法，其特征在于，包括：/n获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；/n将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；/n将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。/n

【技术特征摘要】
1.一种视频图像超分辨率重建方法，其特征在于，包括：
获取待处理的目标视频；所述目标视频由多个连续的第一分辨率的视频帧组成；
将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧；其中，所述第一分辨率小于所述第二分辨率；
将所有所述目标帧的第二分辨率视频帧合成获取所述目标视频的第二分辨率视频。


2.如权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧，包括：
对所述目标视频的视频帧进行分组，获取所述目标视频的视频帧组；
将所述目标视频的视频帧组输入到视频超分辨率重建模型进行处理，获取所述目标视频中所述视频帧对应的第二分辨率视频帧。


3.如权利要求1-2任一项所述的视频图像超分辨率重建方法，其特征在于，在所述将所述目标视频输入到预先训练好的视频超分辨率重建模型进行处理，获取所述目标视频中每个第一分辨率视频帧对应的第二分辨率视频帧之前，还包括：
获取视频训练数据，基于所述视频训练数据获取视频帧训练集；其中，所述视频帧训练集包括第一分辨率的样本视频帧组；
将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧；所述超分辨率模型的输入为样本视频帧组中的目标帧，所述超分辨率模型的输出为所述样本视频帧组中目标帧的目标超分辨率视频帧；
基于所述样本视频帧组的预设真值图和所述目标超分辨率视频帧进行训练，得到用于输出第二分辨率视频帧的视频帧超分辨率重建模型；所述视频帧超分辨率重建模型用于对所述待处理的目标视频进行处理得到第二分辨率视频。


4.如权利要求3所述的视频图像超分辨率重建方法，其特征在于，所述获取视频训练数据，基于所述视频训练数据获取视频帧训练集，包括：
从视频训练数据中获取初始视频帧；
当多个相邻的初始视频帧中每个初始视频帧都满足预设条件时，将满足预设条件的所述多个相邻的初始视频帧标记为一组初始视频帧组；将所述多个相邻的初始视频帧组进行降采样处理，得到视频帧训练集。


5.如权利要求3所述的视频图像超分辨率重建方法，其特征在于，所述将所述样本视频帧组中的目标帧输入预设的超分辨率模型进行处理，得到所述样本视频帧组中目标帧的目标超分辨率视频帧，包括：
将所述样本视频帧组输入预设的深度稠密网络进行处理，得到样本视频帧组信息；
将所述样本视频帧组信息输入预设的动态上采样滤波器学习网络进行处...

【专利技术属性】
技术研发人员：叶显一，李磊，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44