插帧方法、电子设备及可读存储介质技术

本发明专利技术实施例提供了一种插帧方法、电子设备及可读存储介质，其中，上述插帧方法，应用于电子设备，包括：接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；将第一图像与第二图像输入到目标插帧网络中，获得第三图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。本发明专利技术实施例提供的插帧方法能够有效提升多媒体资源平滑度。

【技术实现步骤摘要】
插帧方法、电子设备及可读存储介质
本专利技术涉及多媒体
，特别是涉及一种插帧方法、电子设备及可读存储介质。
技术介绍
随着多媒体技术的发展，用户对视频或动态图等多媒体资源的视觉效果要求越来越高，而多媒体资源的帧率，即以帧称为单位的位图图像连续出现在显示器上的频率，则是影响用户视觉效果的一个重要因素。目前，由于拍摄设备的限制，或者多媒体资源传输时的码流限制，可能导致出现一些低帧率的多媒体资源。目前，为提升低帧率的多媒体资源的平滑度，通常会采用到光流法进行插帧，即在多媒体资源的相邻两帧图像之间插入中间帧。而现有技术在采用光流法插帧时，通常是通过预测两帧图像之间的光流，然后根据预测的光流直接估算中间帧。由于预测的光流可能与实际光流可能存在误差，例如，相邻两帧图像的图像内容中存在物体遮挡时，预测的光流与实际光流误差较大。现有技术中基于预测的光流直接估算中间帧，容易导致该中间帧质量较差，对多媒体资源平滑度的提升效果有限。
技术实现思路
本专利技术实施例的目的在于提供一种插帧方法、电子设备及可读存储介质，以克服现有技术基于预测的光流直接估算中间帧，导致中间帧质量较差，对多媒体资源平滑度的提升效果有限的问题。具体技术方案如下：在本专利技术实施的第一方面，首先提供了一种插帧方法，应用于电子设备，所述方法包括：接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。在本专利技术实施的第二方面，还提供了一种电子设备，包括：接收模块，用于接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；第一获取模块，用于将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；插帧模块，用于将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。在本专利技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的插帧方法。在本专利技术实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的插帧方法。本专利技术实施例提供的插帧方法，将多媒体资源中相邻的第一图像与第二图像输入到目标插帧网络中，获得第三图像并将其作为中间帧插入到第一图像与第二图像之间，其中，目标插帧网络包括了目标光流网络、转化模块以及目标融合网络；克服了现有技术中基于预测的光流直接估算中间帧，容易导致中间帧质量较差的问题；进而能够有效提升多媒体资源平滑度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例提供的插帧方法的流程图；图2为本专利技术实施例中通过目标插帧网络获取第三图像的流程图；图3为本专利技术实施例中对原始插帧网络训练得到目标插帧网络的流程图；图4为本专利技术实施例提供的电子设备的一种结构示意图；图5为本专利技术实施例提供的电子设备的另一种结构示意图；图6为本专利技术实施例提供的电子设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述。本专利技术实施例提供的插帧方法，应用于电子设备，参见图1，所述方法包括：步骤S101，接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；步骤S102，将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；步骤S103，将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。上述多媒体资源可以是视频、动态图等具有N帧图像的资源，N为大于1的整数，以下主要以视频资源为例对本专利技术实施例提供的插帧方法进行说明。本实施例中，接收的多媒体资源可以是帧率相对较低的视频，例如，每秒传输帧数(FramesPerSecond，fps)为30的低帧率视频。若需将该低帧率视频转化为60fps的高帧率视频，则可以在低帧率视频的每相邻两帧图像之间插入一中间帧，即可以进行插帧的操作。定义上述低帧率视频中，任相邻两帧图像中，前一帧图像为第一图像，后一帧图像为第二图像，则插帧的目标是在第一图像与第二图像之间插入一个新的第三图像。本实施例中，可以将第一图像与第二图像作为输入量，输入到目标插帧网络中，以得到第三图像，其中，目标插帧网络可以是预先训练好的插帧网络。具体来说，上述目标插帧网络包括目标光流网络、转化模块以及目标融合网络。目标光流网络可以是预先训练好的神经光流网络(FlowNet)，可通过卷积网络实现光流预测(LearningOpticalFlowwithConvolutionalNetworks)，并将预测的光流信息作为转化模块的输入；转化模块则可以基于预测的光流信息对第一图像与第二图像进行转化，并将转化得到的结果作为目标融合网络的输入；目标融合网络则可以是预先训练好的卷积网络，并能够对转化模块转化得到的结果进行融合，得到第三图像，通过目标融合网络中的卷积网络，对转化模块的输出进行融合，能够避免第三图像中出现空洞等缺陷，提高第三图像质量。本专利技术实施例提供的插帧方法，将多媒体资源中相邻的第一图像与第二图像输入到目标插帧网络中，获得第三图像并将其作为中间帧插入到第一图像与第二图像之间，其中，目标插帧网络包括了目标光流网络、转化模块以及目标融合网络；克服了现有技术中基于预测的光流直接估算中间帧，容易导致中间帧质量较差的问题；进而能够有效提升多媒体资源平滑度。可选地，如图2所示，上述步骤S102，将第一图像与第二图像输入到目标插帧网络中，获得第三图像，包括；...

【技术保护点】
1.一种插帧方法，其特征在于，应用于电子设备，所述方法包括：/n接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；/n将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；/n将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。/n

【技术特征摘要】
1.一种插帧方法，其特征在于，应用于电子设备，所述方法包括：
接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。


2.根据权利要求1所述的方法，其特征在于，所述将第一图像与第二图像输入到目标插帧网络中，获得第三图像，包括；
将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。


3.根据权利要求1所述的方法，其特征在于，所述接收多媒体资源，所述多媒体资源包括N帧图像之前，所述方法还包括：
基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。


4.根据权利要求3所述的方法，其特征在于，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络，包括：
分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。


5.一种电子设备，其特征在于，包括：
接收模块，用于接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数...

【专利技术属性】
技术研发人员：姚亮，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11