插帧图像处理方法及装置制造方法及图纸

本申请实施例公开了一种插帧图像处理方法及装置。其中，该方法包括：将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。本申请的技术方案可以有效重建参考帧与中间帧之间的光流数据，可组合得到稳定可靠的中间帧，较好地解决了插帧图像中的重影和模糊等问题。

【技术实现步骤摘要】
插帧图像处理方法及装置
本申请涉及计算机图像处理领域，具体涉及一种插帧图像处理方法、装置、电子设备及存储介质。
技术介绍
利用人眼视神经的视觉暂留原理，将一系列图像连续播放可产生平滑连续的视觉效果，这样连续的多帧图像叫做视频。由于视频技术经过了长时间的发展演进，存在非常多的应用场景和不同的技术标准，在各种图像和/或不同视频格式之间进行转换是经常要面对的问题，比如在一个视频中插入一个或多个图像帧就是其中一项具体的需求。插帧通常用来解决视频帧率问题，以实现格式的兼容或提升播放的视觉体验。由于插入的图像一般是原始采集的图像中不存在的图像，需要通过一些技术手段来合成，当前计算机技术主要通过图像插值方法来根据已有图像去合成插入图像，比如在连续动作中，通过对前后两帧的比较和处理，插值生成中间动作的图像帧。近期，使用深度学习技术来实现图像插值的方法获得了较好的结果；通过大量训练数据，深度神经网络可以大幅度提升合成图像的质量。但是，当前的一些方法在前后两个图像帧中存在大幅度动作时，性能仍然不能令人满意，插值后的图像容易出现畸变或模糊的情况。这是由于插值算法均从前后两帧图形预测出出中间帧的图像，当前后两帧变化较小时，预测相对准确；相反，当前后两帧变化较大时，预测性能完全取决于算法能否对真实世界中的事实进行重建。为优化插值图像效果，现有技术进一步采用光流神经网络计算原始帧之间的光流，并使用一个任意设定的线性估计器来估算目标帧和原始帧之间的光流，然后加上若干神经网络层的修正得到最终的插帧结果。但由于线性估计器的不普适性，当原始帧之间的差异较大的时候,插帧的结果会有明显的模糊或重影问题。为进一步改善光流神经网络法，现有技术又进一步加入了组合深度信息，利用深度信息优化光流估计(参见中国专利申请公开文本CN110351511A中介绍)。然而，专利技术人在实现本专利技术实施例相关技术方案的过程中发现，现有技术至少存在以下问题：无论是直接光流估计还是结合深度信息进行光流估计，在多个光流矢量流经同一像素时，其估计结果为加权的线性平均值(区别仅在于是否使用深度信息修正)。由于线性平均往往与真实世界的光流模型并不吻合(运动往往并非线性均匀运动，即便运动满足线性均匀性，运动物体的光流场仍然受到多种因素影响，不可能是线性均匀变化的)，因此现有技术在前后数据帧具有较大差异时仍然出现了性能的下降，反映在图像上就是肉眼可见的模糊或畸变，效果仍不理想。
技术实现思路
针对现有技术中的上述技术问题，本申请实施例提出了一种插帧图像处理方法、装置、电子设备及计算机可读存储介质，以解决光流估计插帧图像质量差的问题。本申请实施例的第一方面提供了一种插帧图像处理方法，包括：将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。在一些实施例中，所述方法还包括：从视频的连续图像中或从空间图像的相邻位置处获取所述前后两个参考帧。在一些实施例中，所述方法还包括：使用大量的训练数据对所述光流估计网络、光流内插神经网络和权重估计神经网络进行机器学习的训练。在一些实施例中，所述训练包括：使用连续三帧图像作为一组训练数据，各组训练数据中第一帧和最后一帧为样本数据，中间帧为标注数据；从大量视频或空间图像中随机抽取大量的训练数据组，对各个网络模型进行反复训练，直到中间结果与标注数据的差异足够小，或者参数可优化的程度足够小。在一些实施例中，所述方法中，采用PWC-Net作为光流估计网络，选用U-net作为光流内插神经网络和权重估计神经网络。本申请实施例的第二方面提供了一种插帧图像处理装置，包括：光流估计模块，用于将插帧位置前后两个参考帧输入到光流估计网络，得到第一和第二参考帧互相之间的两组光流场；光流内插模块，用于使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；权重估计模块，用于权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；组合处理模块，用于依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。在一些实施例中，所述装置还包括：参考帧获取模块，用于从视频的连续图像中或从空间图像的相邻位置处获取所述前后两个参考帧。在一些实施例中，所述装置还包括：训练模块，用于使用大量的训练数据对所述光流估计网络、光流内插神经网络和权重估计神经网络进行机器学习的训练。在一些实施例中，所述训练模块包括：训练数据生成模块，用于使用连续三帧图像作为一组训练数据，各组训练数据中第一帧和最后一帧为样本数据，中间帧为标注数据；训练执行模块，用于从大量视频或空间图像中随机抽取大量的训练数据组，对各个网络模型进行反复训练，直到中间结果与标注数据的差异足够小，或者参数可优化的程度足够小。在一些实施例中，所述装置中，采用PWC-Net作为光流估计网络，选用U-net作为光流内插神经网络和权重估计神经网络。本申请实施例的第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。本申请实施例的技术方案，使用多个神经网络来分别处理光流估计、光流内插和权重估计，可以有效重建前后两个参考帧与中间帧之间的光流数据，可组合得到稳定可靠的中间帧，较好地解决了插帧图像中的重影和模糊等问题。附图说明通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：图1是根据本申请的一些实施例所示的图像处理测试例效果对比示意图；图2是根据本申请的一些实施例所示的一种插帧图像处理方法的流程示意图；图3是根据本申请的一些实施例所示的空间图像处理实验结果效果对比示意图；图4是根据本申请的一些实施例所示的一种插本文档来自技高网...

【技术保护点】
1.一种插帧图像处理方法，其特征在于，包括：/n将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；/n使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；/n使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；/n依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。/n

【技术特征摘要】
1.一种插帧图像处理方法，其特征在于，包括：
将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；
使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；
使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；
依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从视频的连续图像中或从空间图像的相邻位置处获取所述前后两个参考帧。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
使用大量的训练数据对所述光流估计网络、光流内插神经网络和权重估计神经网络进行机器学习的训练。


4.根据权利要求3所述的方法，其特征在于，所述训练包括：
使用连续三帧图像作为一组训练数据，各组训练数据中第一帧和最后一帧为样本数据，中间帧为标注数据；
从大量视频或空间图像中随机抽取大量的训练数据组，对各个网络模型进行反复训练，直到中间结果与标注数据的差异足够小，或者参数可优化的程度足够小。


5.根据权利要求1所述的方法，其特征在于，所述方法中，采用PWC-Net作为光流估计网络，选用U-net作为光流内插神经网络和权重估计神经网络。


6.一种插帧图像处理装置，其特征在于，包括：
光流估计模...

【专利技术属性】
技术研发人员：严雪飞，张卫平，于长志，姜玉林，
申请(专利权)人：无锡安科迪智能技术有限公司，
类型：发明
国别省市：江苏;32