一种视频图像的处理方法及装置、电子设备、存储介质制造方法及图纸

本申请公开了一种视频图像的处理方法和装置，所述方法包括：获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；利用所述N帧图像帧中除所述关键帧以外的N‑1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。

【技术实现步骤摘要】
一种视频图像的处理方法及装置、电子设备、存储介质
本申请涉及计算机
，尤其涉及一种视频图像的处理方法及装置、电子设备、存储介质。
技术介绍
针对视频图像的处理，现有技术中，一般将视频中的每一帧图像当成单幅图像来处理，通过对视频中的每一帧图像进行清晰度重建后，再将进行清晰度重建后的各帧图像组成连续的图像帧；或者，简单的将视频中的多帧图像直接输入到一个端到端的网络进行训练；又或者，使用一个非常冗余的网络结构来对视频中的多帧图像进行训练和测试，以得到清晰度更高的视频图像。以上方案在对视频图像进行处理时不能充分地利用视频所特有的时域信息，无法使视频图像处理结果达到最优。
技术实现思路
为解决上述技术问题，本申请实施例提供了一种视频图像的处理方法及装置、电子设备、存储介质。本申请实施例提供了一种视频图像的处理方法，所述方法包括：获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。本申请实施例还提供了一种视频图像处理装置，所述装置包括：获取单元，用于获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；重建单元，用于利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。本申请实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述的视频图像处理方法。本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的视频图像处理方法。本申请实施例的技术方案，通过获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。如此，能够有效地利用视频中多帧图像的时域信息，其中，利用图像处理模型中的对齐融合模型对多帧图像进行处理时能够对多帧图像所包含的信息进行有效的融合和利用，利用图像处理模型中的特征学习和重建模型对多帧图像的进行处理时能够有效的预测视频中图像帧的纹理细节信息，使得在利用图像处理模型对视频中的多帧图像进行处理后，得到一个具有更多细节信息、更高清晰度的关键帧。附图说明图1为本申请实施例提供的几种视频图像处理方法；图2为本申请实施例提供的视频图像处理方法的流程示意图；图3为本申请实施例提供的视频图像处理框架示意图一；图4为本申请实施例提供的视频图像处理框架示意图二；图5为本申请实施例提供的视频图像处理框架示意图三；图6为本申请实施例提供的视频图像处理框架示意图四；图7为本申请实施例提供的对齐融合模型的结构示意图一；图8为本申请实施例提供的对齐融合模型的结构示意图二；图9为本申请实施例提供的对齐融合模型的结构示意图三；图10为本申请实施例提供的特征学习和重建模型的结构示意图一；图11为本申请实施例提供的特征学习和重建模型的结构示意图二；图12为本申请实施例提供的视频图像处理的主体结构示意图；图13为本申请实施例提供的视频图像的处理装置的结构示意图。具体实施方式为了能够更加详尽地了解本申请的特点与
技术实现思路
，下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。视频图像处理技术在智能手机中主要涉及以下几种应用场景，应用场景1：预览和录像模式下的多倍率变焦；应用场景2：微信视频通话、视频会议等场景中的视频质量增强；应用场景3：手机、平板等设备的投屏功能；应用场景4：在相册端对网上下载的视频、微信接收到的视频的质量和清晰度的提升。针对应用场景1，现有的多摄像头手机中，主要有主摄、长焦、广角、以及黑白摄像四个镜头，长焦的焦距一般是主摄的3～5倍，而手机支持的最大放大(即zoom)倍率已经达到了20倍，甚至是60倍。这种超高倍率的zoom功能是通过数码变焦实现的，目前使用的数码变焦大多是简单的插值放大算法。视频图像处理技术能够通过一些更优的算法方案，使得zoom后的视频噪声更小、清晰度更高。同时，视频图像处理技术也能够允许智能手机做更高倍率的zoom。针对应用场景2，当使用手机进行微信视频通话或视频会议时，网络问题、对方的周围环境较差(如光线较暗)、对方摄像设备较差等问题都会导致用户所看的视频画面质量受损，视频中会出现明显的噪声、块效应以及模糊等现象。使用视频图像处理技术，可以在不增加额外的网络带宽前提下，将对方传输过来的低质量视频处理成清晰的视频画面，从而提高用户的使用体验。对视频图像进行处理在这一场景中的优势是，不会过多的依赖视频通话对象的周围环境、网络以及设备的性能，可靠性和鲁棒性较高。针对应用场景3，由于手机屏幕的小尺寸影响了用户在手机上看视频的体验，随着智能互连技术的发展，投屏技术等机器与机器间的交互将会变得更加频繁。视频图像处理技术可以解决手机上的低清晰度视频，在高清的显示器上观看质量较差的问题，能够轻松实现各设备间视频的有效互连。针对应用场景4，在即时通信软件等社交工具中接收到的通常是将原始MP4视频进行了二次压缩的视频，导致收到的视频质量较差。此外，网络上一些年代比较久远的视频(老电影、老视频)的质量通常也较差。视频图像处理技术可以解决诸如此类的视频质量不佳的问题，达到提高用户体验的目的。图1为本申请实施例列举的几种视频图像处理方法，如图1所示，视频图像处理算法，主要分为两大类，一类是基于卷积神经网络(CNN，ConvolutionalNeuralNetwork)的视频图像处理算法，另一类是非CNN的视频图像处理传统算法。目前在研究视频图像处理技术时，通常会有两种思路，一种是将视频中的每一帧图像帧当成单独的图像进行重建，再将重建后的每一帧拼接起来，形成最终的结果视频；另一种是利用视频的时域特征，当重建某一帧图像帧时，利用视频中与该帧图像帧前后相邻的多个图像帧进行算法的研发。对于视频图像的处理，在一种具体的方案中，通过使用具有二阶段运动补偿的卷积神经网络实现视频图像的处理。该方案具体包括如下步骤：1、接受具有第一多个帧的视频，该第一多个帧具有第一分辨率；2、基于第一类型的运动补偿从本文档来自技高网...

【技术保护点】
1.一种视频图像的处理方法，其特征在于，所述方法包括：/n获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；/n利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。/n

【技术特征摘要】
1.一种视频图像的处理方法，其特征在于，所述方法包括：
获取N帧图像帧，并从所述N帧图像帧中选取一帧具有第一清晰度的图像帧作为关键帧，N为大于等于2的整数；
利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，所述第二清晰度高于所述第一清晰度；其中，所述图像处理模型包括对齐融合模型以及特征学习和重建模型。


2.根据权利要求1所述的方法，其特征在于，所述利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，包括：
利用对齐融合模型将所述N-1帧图像帧与所述关键帧进行对齐和融合，得到一帧与所述关键帧对应的融合帧；
利用特征学习和重建模型对所述融合帧和所述关键帧进行特征学习，得到所述具有第二清晰度的关键帧。


3.根据权利要求2所述的方法，其特征在于，所述利用特征学习和重建模型对所述融合帧和所述关键帧进行特征学习，得到所述具有第二清晰度的关键帧，包括
利用特征学习和重建模型对所述融合帧和所述关键帧进行特征学习，得到与所述关键帧对应的多通道特征图，利用放大模型对所述多通道特征图进行放大，并对所述放大后的多通道特征图进行处理得到所述具有第二清晰度的关键帧。


4.根据权利要求1所述的方法，其特征在于，所述利用所述N帧图像帧中除所述关键帧以外的N-1帧图像帧以及图像处理模型对所述关键帧进行重建，得到具有第二清晰度的关键帧，包括：
利用特征学习和重建模型对所述N帧图像帧进行特征学习，得到与所述N帧图像帧对应的N个学习结果；
利用对齐融合模型将所述N-1帧图像帧对应的N-1个学习结果与所述关键帧对应的学习结果进行对齐和融合，得到所述具有第二清晰度的关键帧。


5.根据权利要求4所述的方法，其特征在于，所述利用对齐融合模型将所述N-1帧图像帧对应的N-1个学习结果与所述关键帧对应的学习结果进行对齐和融合，得到所述具有第二清晰度的关键帧，包括：
利用对齐融合模型将所述N-1帧图像帧对应的N-1个学习结果与所述关键帧对应的学习结果进行对齐和融合，得到与所述关键帧对应的多通道特征图，利用放大模型对所述多通道特征图进行放大，并对所述放大后的多通道特征图进行处理得到所述具有第二清晰度的关键帧。


6.根据权利要求2或4所述的方法，其特征在于，所述获取N帧图像帧，包括：
获取待进行图像处理的视频；
按照指定缩放倍率对所述视频进行放大，从放大后的所述视频中获取所述N帧图像帧。


7.根据权利要求1至5中任一项所述的方法，其特征在于，所述对齐融合模型包括：对齐模型、融合模型和拼接模型；所述方法还包括：
利用所述拼接模型将所述N帧图像帧在目标维度上进行拼接，输出所述N帧图像帧拼接后的特征数据；利用所述对齐模型和所述拼接后的特征数据将所述N-1帧图像帧与所述关键帧进行对齐，输出所述N-1帧图像帧对齐后的特征数据；利用所述融合模型和所述对齐后的特征数据将所述N-1帧图像帧与所述关键帧进行融合，输出一帧与所述关键帧对应的融合帧；或者，
利用所述对...

【专利技术属性】
技术研发人员：李兴龙，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44