视频帧的插值装置以及方法制造方法及图纸

本申请实施例提供一种视频帧的插值装置以及方法。所述方法包括：计算第一帧和第二帧之间的双向光流；根据所述第一帧和所述第二帧进行核和权重估计；其中，使用一个卷积层生成自适应局部卷积核并且使用另一个卷积层生成权重系数；根据所述双向光流、所述权重系数和所述自适应局部卷积核，使用自适应变换层对所述第一帧和所述第二帧进行变换以生成变换帧；以及对所述第一帧和所述第二帧、所述变换帧进行帧合成，以生成所述第一帧和所述第二帧之间的插值帧。的插值帧。的插值帧。

【技术实现步骤摘要】
视频帧的插值装置以及方法


[0001]本申请实施例涉及视频处理


技术介绍

[0002]视频帧的插值是计算机视觉中视频处理领域的主要问题之一，可以合成连续帧中的插值帧(也可称为中间帧)。视频帧的插值可以应用于许多应用，例如视频压缩，慢动作生成、帧频(frame rate)上转换(up-conversion)等。
[0003]在视频帧的插值中，可以在输入帧上找到用于估计每个像素值的参考位置，然后通过参考像素值得到输出的插值帧的像素值。基于深度学习的视频帧的插值可以包括核(kernel)估计方法，并自适应地为每个像素估计核，通过卷积操作来合成插值帧。此外还可以包括流估计方法，针对每个输出像素估计指向参考位置的流向量。
[0004]目前，随着深度卷积神经网络的发展，该领域的许多方法都取得了长足的进步。例如，目前已经有参考文献提出计算双向光流，并基于自适应变换层(adaptive warping layer)生成变换帧(也可称为扭曲帧，warped frame)，然后进行帧合成以获得插值帧。
[0005]应该注意，上面对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频帧的插值装置，其特征在于，所述装置包括：光流计算单元，其计算第一帧和第二帧之间的双向光流；估计单元，其根据所述第一帧和所述第二帧进行核和权重估计；其中，使用一个卷积层生成自适应局部卷积核并且使用另一个卷积层生成权重系数；变换单元，其根据所述双向光流、所述权重系数和所述自适应局部卷积核，使用自适应变换层对所述第一帧和所述第二帧进行变换以生成变换帧；以及合成单元，其对所述第一帧和所述第二帧、所述变换帧进行帧合成，以生成所述第一帧和所述第二帧之间的插值帧。2.根据权利要求1所述的装置，其中，所述装置还包括：加权单元，其根据所述权重系数对所述双向光流进行加权。3.根据权利要求1所述的装置，其中，所述自适应局部卷积核将不同权重分配给当前像素周围的相邻多个像素，并且所述自适应变换层根据所述相邻多个像素生成所述当前像素的值。4.根据权利要求1所述的装置，其中，所述估计单元用于：对所述第一帧和所述第二帧进行特征提取并进行多次下采样以获得不同维度的特征；对所获得的最高维度的特征进行多次上采样以获得处理后的特征；对所述处理后的特征使用第一卷积层并使用relu函数以获得所述自适应局部卷积核；以及对所述处理后的特征使用第二卷积层并使用sigmoid函数以获得所述权重系数。5.根据权利要求4所述的装置，其中，由所述多次下采样获得不同维度的下采样特征，由所述...

【专利技术属性】
技术研发人员：温思寒，周静，谭志明，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：