视频帧处理方法、装置、电子设备和可读存储介质制造方法及图纸

本申请公开了一种视频帧处理方法、装置、电子设备和可读存储介质，属于图像处理领域。其中的方法包括：获取初始视频帧以及当前视频帧；获取初始视频帧对应的第一多模数据以及当前视频帧对应的第二多模数据；将初始视频帧、当前视频帧、第一多模数据以及第二多模数据输入至预先训练得到的图像处理模型中，以得到当前视频帧对应的目标视频帧。本申请解决了现有技术中由于相机拍摄过程中的电子防抖需要人为过多的干预和调整，而导致图像增强效果差的问题。

【技术实现步骤摘要】
视频帧处理方法、装置、电子设备和可读存储介质
本申请属于图像处理领域，具体涉及一种视频帧处理方法、装置、电子设备和可读存储介质。
技术介绍
现有手机的EIS(ElectricImageStabilization，电子防抖)防抖技术通常需要做大量的前期标定工作，确定出相机的焦距、陀螺仪的漂移和延迟等参数，配合陀螺仪输出的数据计算出标准帧的像素点对于当前帧的变化矩阵。即EIS是通过将当前像素点位置左乘以变化矩阵转变成标准帧的像素点位置，并截取掉一定的图像边缘完成最终的防抖效果。在实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：从目前的EIS技术来说，裁剪图像是必须的，这会导致图像视角变小，而且如果没有OIS(OpticalImageStabilization)的帮助，对于平移补偿效果也不够理想。同时卷帘快门RollingShutterDoor的曝光时间不定也给防抖效果带来负面的影响，且整个EIS流程比较繁杂，过多的环节需要人为的干预和调整，从维护和问题排查以及效果增强来说略显繁琐和困难。针对上述的问题，目前尚未提出有效的解决方案。申请内容本申请实施例的目的是提供一种视频帧处理方法、装置、电子设备和可读存储介质，能够解决现有技术中由于相机拍摄过程中的电子防抖需要人为过多的干预和调整，而导致图像增强效果差的问题。为了解决上述技术问题，本申请是这样实现的：第一方面，本申请实施例提供了一种视频帧处理方法，所述方法包括：获取初始视频帧以及当前视频帧；获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据；将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧。第二方面，本申请实施例提供了一种视频帧处理装置，所述装置包括：第一图像采集单元，用于获取初始视频帧以及当前视频帧；第一获取单元，用于获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据；第一处理单元，用于将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧。第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。在本申请实施例中，通过获取初始视频帧以及当前视频帧；获取初始视频帧对应的第一多模数据以及当前视频帧对应的第二多模数据；将初始视频帧、当前视频帧、第一多模数据以及第二多模数据输入至预先训练得到的图像处理模型中，以得到当前视频帧对应的目标视频帧。通过多模数据实现对视频帧进行图像处理，综合了图像拍摄过程中的多种因素，实现了对视频帧的有效增强。进而解决了现有技术中由于相机拍摄过程中的电子防抖需要人为过多的干预和调整，而导致图像增强效果差的问题。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可一照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明图1是本申请实施例中一种可选的视频帧处理方法的流程示意图；图2a是本申请实施例中一种可选的分量矩阵的前四通道示意图；图2b是本申请实施例中一种可选的分量矩阵的后四通道示意图；图2c是本申请实施例中一种可选的分量矩阵的示意图；图3是本申请实施例中一种可选的图像处理模型的结构示意图；图4是本申请实施例中一种可选的编码模块的结构示意图；图5是本申请实施例中一种可选的对分量矩阵进行偏置处理的示意图；图6是本申请实施例中一种可选的编码卷积层的结构示意图；图7是本申请实施例中一种可选的解码模块的结构示意图；图8是本申请实施例中又一种可选的图像处理模型的结构示意图；图9是本申请实施例中一种图像处理模型训练场景的示意图；图10是本申请实施例中一种可选的视频帧处理装置的结构示意图；图11是本申请实施例中一种可选的电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像帧处理方法进行详细地说明。本申请实施例中提出了一种视频帧处理方法，参照附图1，示出了本申请的一种视频帧处理方法的流程示意图，具体可以包括以下步骤：S102，获取初始视频帧以及当前视频帧；具体地，通过电子终端的摄像头或其他图像采集部件获取视频帧，在本实施例中，视频帧的获取方式包括但不限于视频拍摄以及照片拍摄。在一个例子中，在通过手机拍摄视频时，获取各个视频帧或者按照预设间隔采集视频帧，以得到初始视频帧以及当前视频帧；而在另一个例子中，在通过手机拍摄照片的情况下，在手机相机的拍照预览界面展示拍摄目标的预览视频，采集预览视频的视频帧，以得到初始视频帧以及当前视频帧。S104，获取初始视频帧对应的第一多模数据以及当前视频帧对应的第二多模数据；具体地，多模数据包括但不限于视频帧的图像数据、卷帘快门的行曝光时间信息、陀螺仪信息以及拍摄时间节点等多维数据。以适应各行曝光时间不同的且减少动态模糊motionblur的影响，充分考虑视频帧的像素空间随着图像抖动的不确定变化性。在实际的应用场景中，电子终端的处理器获取各个传感器的数据，例如获取摄像头中的光学传感器中的图像数据以及行曝光时间数据，以及陀螺仪的方向偏置数据，或者获取每个视频帧对应的时间数据。在另一个例子中，可以将多模数据关联视频帧对应的图像数据，通过电子终端的处理器在获取图像数据的同时，可以直接获取视频帧对应的多模数据。S106，将初始视频帧、当前视频帧、第一多模数据以及第二多模数据输入至预先训练得到的图本文档来自技高网...

【技术保护点】
1.一种视频帧处理方法，其特征在于，所述方法包括：/n获取初始视频帧以及当前视频帧；/n获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据；/n将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧。/n

【技术特征摘要】
1.一种视频帧处理方法，其特征在于，所述方法包括：
获取初始视频帧以及当前视频帧；
获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据；
将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧。


2.根据权利要求1所述的方法，其特征在于，获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据，包括：
获取所述初始视频帧与所述当前视频帧分别对应的图像数据、行曝光时间、图像偏置数据以及采集时间；
根据所述图像数据、所述行曝光时间、所述图像偏置数据以及所述采集时间，确定所述初始视频帧对应的第一分量矩阵以及所述当前视频帧对应的第二分量矩阵。


3.根据权利要求2所述的方法，其特征在于，根据所述图像数据、所述行曝光时间、所述图像偏置数据以及所述采集时间，确定所述初始视频帧对应的第一分量矩阵以及所述当前视频帧对应的第二分量矩阵，包括：
对所述图像数据进行BGR转换，以得到所述图像数据对应的图像矩阵；
根据所述图像矩阵以及所述行曝光时间确定第一矩阵；
根据所述图像偏置数据以及所述采集时间确定第二矩阵；
对所述第一矩阵以及所述第二矩阵进行合并，以得到所述第一分量矩阵以及第二分量矩阵。


4.根据权利要求2所述的方法，其特征在于，所述图像处理模型包括编码模块以及解码模块，其中，
将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧，包括：
将所述第一分量矩阵以及所述第二分量矩阵输入至所述图像处理模型的编码模块中，以得到第一目标分量矩阵；
将所述第一目标分量矩阵输入至所述图像处理模型的解码模块中，以得到所述目标视频帧。


5.根据权利要求4所述的方法，其特征在于，所述编码模块包括至少一个编码卷积层以及第一预设卷积层，所述至少一个编码卷积层与所述第一预设卷积层串联，其中，
将所述第一分量矩阵以及所述第二分量矩阵输入至所述图像处理模型的编码模块中，以得到所述第一目标分量矩阵，包括：
将所述第一分量矩阵以及所述第二分量矩阵输入至所述至少一个编码卷积层，以得到所述第一分量矩阵对应的第一输出，所述第二分量矩阵对应的第二输出；
将所述第一输出以及所述第二输出输入至所述第一预设卷积层，以得到所述第一目标分量矩阵。


6.根据权利要求5所述的方法，其特征在于，所述编码卷积层包括与所述第一分量矩阵对应的第一偏置层、与所述第二分量矩阵对应的第二偏置层以及共享卷积层，其中，
将所述第一分量矩阵以及所述第二分量矩阵输入至所述至少一个编码卷积层，包括：
将所述第一分量矩阵输入至所述第一偏置层，以得到第三分量矩阵；
将所述第二分量矩阵输入至所述第二偏置层，以得到第四分量矩阵；
将所述第三输出以及所述第四输出分别输入至所述共享卷积层，以得到与所述第一输出，以及与所述第二输出。

<...

【专利技术属性】
技术研发人员：李仕康，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：广东;44