视频处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了视频处理方法、装置、设备及存储介质。该方法包括根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定当前视频帧归属的有限处理序列；在当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；根据处理后的当前第一处理结果和当前第二处理结果，确定当前视频帧的目标输出信息，并按照目标输出信息进行当前视频帧的超分辨率显示。该方法以有限处理序列为周期来变更超分辨率处理所需的前序信息并引入存在于连续两个有限处理序列中的重叠视频帧，简单有效的实现了超分辨率处理后视频画面的高保真显示。

Video processing method, device, equipment and storage medium

【技术实现步骤摘要】
视频处理方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉
，尤其涉及视频处理方法、装置、设备及存储介质。
技术介绍
在计算机视觉领域，可通过对视频的各帧进行超分辨率处理来放大分辨率以及在放大的同时填充更多细节，以增强所处理视频的整体观感。现有对视频进行超分辨率处理的实现方案中，往往使用机器学习算法中的深度神经网络模型对视频帧进行处理，以此将低分辨率的视频帧恢复为高分辨率的图像帧。且研究发现相比如常规超分辨率处理的深度神经网络模型，采用循环神经网络模型能够更好的利用前一视频帧的超分结果来指导当前视频帧的超分过程，以此来保证所生成的高分辨率视频更为逼真。然而，采用现有循环神经网络模型对长视频(即所包含视频帧大于100帧)进行超分辨率处理时，使用循环网络结构往往会在对长视频内静止显示区域的处理中产生一些时序累计的误差，使得处理后所显示的视频帧表现出不自然的图形畸变。现有为解决该问题所提出的改进方案需要在循环神经网络模型的训练过程中加入一种特殊的损失函数，该改进方案相当于需要修改模型的训练过程，涉及到训练数据排列方式的修改和超参数的选取，整个修改过程较为复杂，且该改进方案无法对已训练好的循环神经网络模型进行修复，此外，该改进方案也只能对长视频内处于静止显示区域的时序累积误差起到缓解作用，并无法彻底消除。
技术实现思路
有鉴于此，本专利技术实施例提供了视频处理方法、装置、设备及存储介质，以向视频的消费用户提供高质量视频。第一方面，本专利技术实施例提供了一种视频处理方法，包括：根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；其中，所述第一前序信息和第二前序信息均基于所述当前视频帧的前一视频帧归属的有限处理序列确定。第二方面，本专利技术实施例提供一种视频处理装置，包括：处理序列确定模块，用于根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；信息处理模块，用于当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；信息确定模块，用于根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；其中，所述第一前序信息和第二前序信息均基于所述当前视频帧的前一视频帧归属的有限处理序列确定。第三方面，本专利技术实施例提供了一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面实施例提供的视频处理方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面实施例提供的视频处理方法。本专利技术实施例提供的视频处理方法、装置、设备及存储介质中，对所接收的视频帧进行处理时，首先根据视频帧的帧序号以及预先确定的当前帧号划分集合及下一帧号划分集合，来确定当前视频帧归属的有限处理序列；并在当前视频帧同时属于当前有限处理序列和下一有限处理序列时，将当前视频帧的图像信息分别于第一前序信息和第二前序信息结合进行超分辨率处理，之后可根据获得的当前第一处理结果和当前第二处理结果确定出目标输出信息，而该目标输出信息就相当于对该当前视频帧超分辨率处理后最终展示给用户的结果。上述技术方案，相比于现有的视频超分辨率处理，本方案首先对待进行超分辨率处理的视频帧进行有限处理序列的归属划分，并以有限处理序列为周期来变更视频超分辨率处理时所需的前序信息，以此来消除现有处理中随时间累计而在视频静止区域产生的图像畸变；同时，本技术方案引入重叠存在于连续两个有限处理序列中的视频帧，以通过对所重叠视频帧的处理来避免因两个有限处理序列间前序信息的变更而引起的视频帧所显示画面的跳变，以此来增强视频图像显示的平滑性。由此，在实现视频高效率超分辨处理的同时保证了视频中静止区域图像的高保真显示。附图说明图1给出了视频中待进行超分辨率处理的第30帧视频帧的初始显示图；图2给出了对图1所显示第30帧视频帧采用现有超分辨率方法处理后的效果显示图；图3给出了视频中待进行超分辨率处理的第200帧视频帧的初始显示图；图4给出了对图2所显示第200视频帧采用现有超分辨率方法处理后的效果显示图；图5给出了本专利技术实施例一提供的一种视频处理方法的流程示意图；图6给出了本专利技术实施例二提供的一种视频处理方法的流程示意图；图7给出了对图2所显示视频帧采用本实施例提供的超分辨率处理方法处理后的效果显示图；图8给出了本实施例中进行目标输出信息确定的一种实现流程图；图9给出了本专利技术实施例三提供的一种视频处理装置的结构框图；图10给出了本专利技术实施例四提供的一种计算机设备的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。需要说明的是，本实施例对主要对视频进行超分辨率处理，对于一个视频而言，其在进行超分辨率处理时，相当于将视频的分辨率进行放大，并在放大的同时填充更多细节，来增强视频的整体观感，所进行的放大并不是对视频中各视频帧所包含总像素数量的放大，实际可看做对视频的宽和高均进行整数倍的放大(如2倍放大和4倍放大)。对于视频的观看用户而言，对视频进行超分辨率处理后的观感提升可从两方面来体现。示例性的，假设视频中每个视频帧的原有分辨率为256*256，在不对其进行超分辨率处理时，将视频置于全屏模式下，将会展现一个较模糊的视频，而进行超分辨率处理后，如将原有分辨率放大至512*512后，在将视频置于全屏模式下时，所展现视频的清晰度高于原始视频的清晰度；又如，对于原有分辨率分别为256*256，以及512*512的视频帧而言，其在等比例显示时两视频帧所展现出的清晰度相同，若不进行超视频处理直接将256*256的视频帧放大至512*512，则将会展现一个较模糊的画面，若进行了超视频处理，将256*256的视频放大至512*512时，所展现的仍是一个清晰的画面。由此可知，进行超视频处理的视频能够给观看用户带来更好的观感。现有超分本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：/n根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；/n当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；/n根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；/n其中，所述第一前序信息不同于所述第二前序信息。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
根据所接收当前视频帧的当前帧序号及预先确定的当前帧号划分集合和下一帧号划分集合，确定所述当前视频帧归属的有限处理序列；
当所述当前视频帧同时属于当前有限处理序列和下一有限处理序列时，基于所述当前视频帧的图像信息分别与第一前序信息及第二前序信息结合进行超分辨率处理；
根据处理后获得的当前第一处理结果和当前第二处理结果，确定所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示；
其中，所述第一前序信息不同于所述第二前序信息。


2.根据权利要求1所述的方法，其特征在于，
所述第一前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为所述前一视频帧的前一第一处理结果；在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第一处理结果；
所述第二前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为为以全0表示的图像信息；所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果。


3.根据权利要求1所述的方法，其特征在于，还包括：
当所述当前视频帧仅属于当前有限处理序列时，基于所述当前视频帧的图像信息及第三前序信息进行超分辨率处理，并在处理后获取当前第一处理结果；
当所述当前视频帧仅属于下一有限处理序列时，基于所述当前视频帧的图像信息及第四前序信息进行超分辨处理，并在处理后获取当前第一处理结果；
将获得的当前第一处理结果确定为所述当前视频帧的目标输出信息，并按照所述目标输出信息进行所述当前视频帧的超分辨率显示。


4.根据权利要求3所述的方法，其特征在于，
所述第三前序信息，在所述当前视频帧的前一视频帧仅属于当前有限处理序列时为所述前一视频帧的前一第一处理结果，在所述当前视频帧的前一视频帧为空时为以全0表示的图像信息；
所述第四前序信息，在所述当前视频帧的前一视频帧同时属于当前有限处理序列和下一有限处理序列时为所述前一视频帧的前一第二处理结果；在所述当前视频帧的前一视频帧仅属于下一有限处理序列时为所述前一视频帧的前一第一处理结果。


5.根据权利要求3所述的方法，其特征在于，所述超分辨率处理基于预先训练的循环神经网络模型进行；
所述当前第一处理结果为将所述当前处理帧的图像信息及所述第一前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；或者，为将所述当前处理帧的图像信息及所述第三前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；或者，为将所述当前处理帧的图像信息及所述第四前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据；
所述当前第二处理结果为将所述当前处理帧的图像信息及所述第二前序信息作为所述循环神经网络模型的输入数据处理获得的输出数据。


6.根据权利要求1所述的方法，其特征在于，
所接收的当前视频帧为视频直播中实时捕获的视频帧；
或者，所接收的当前视频帧为视频通话中实时捕获的视频帧；
或者，所接收的当前视频帧为用户所选定视频文件中当前待播放的视频帧。


7.根据权利要求1所述的方法，其特征在于，还包括：
在当前视频帧及相应的前一视频帧均属于下一有限处理序列时，监测到所述当前视频帧进行超分辨率显示后，记所述当前视频帧归属于新的当前有限处理序列；
将所述下一帧号划分集合记为新的当前帧号划分集合，并根据所述当前帧号划分集合确定新的下一帧号划分集合。

【专利技术属性】
技术研发人员：孟祥飞，朱飞，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44