一种基于时空编码的低延时视频插帧方法及设备技术

本发明专利技术提供了一种基于时空编码的低延时视频插帧方法及设备。所述方法包括：从视频待插帧的时序段中选取前帧图像和后帧图像，从前帧图像和后帧图像中提取对应的前帧特征图和后帧特征图；将前帧特征图和后帧特征图激活，将激活后的前帧特征图和激活后的后帧特征图进行叠加，得到特征编码特征图；对特征编码特征图进行解码，得到待插入的帧图像，构建出插帧模型；采用预先获取的训练集和测试集输入插帧模型进行训练和测试，若所述插帧模型的输出满足预设阈值，则确定所述插帧模型为最终插帧模型。本发明专利技术降低了延时并提高了内存空间的利用效率。用效率。用效率。

【技术实现步骤摘要】
一种基于时空编码的低延时视频插帧方法及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种基于时空编码的低延时视频插帧方法及设备。

技术介绍

[0002]目前，视频插帧任务经过业界多年的改进，提升了在视频插帧任务的表现。然而，这些插帧方法中最快的对640P视频进行4x插帧所花时长也是原视频时长的2.6倍，可见相关插帧方法的实时性很弱、延时很高，难以满足对游戏、在线视频、直播等领域的落地应用。因此，开发一种低延时视频插帧方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

技术实现思路

[0003]针对现有技术存在的上述问题，本专利技术实施例提供了一种基于时空编码的低延时视频插帧方法及设备。
[0004]第一方面，本专利技术的实施例提供了一种基于时空编码的低延时视频插帧方法，包括：从视频待插帧的时序段中选取前帧图像和后帧图像，从前帧图像和后帧图像中提取对应的前帧特征图和后帧特征图；将前帧特征图和后帧特征图激活，将激活后的前帧特征图和激活后的后帧特征图进行叠加，得到特征编码特征图；对特征编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空编码的低延时视频插帧方法，其特征在于，包括：从视频待插帧的时序段中选取前帧图像和后帧图像，从前帧图像和后帧图像中提取对应的前帧特征图和后帧特征图；将前帧特征图和后帧特征图激活，将激活后的前帧特征图和激活后的后帧特征图进行叠加，得到特征编码特征图；对特征编码特征图进行解码，得到待插入的帧图像，构建出插帧模型；采用预先获取的训练集和测试集输入插帧模型进行训练和测试，若所述插帧模型的输出满足预设阈值，则确定所述插帧模型为最终插帧模型。2.根据权利要求1所述的基于时空编码的低延时视频插帧方法，其特征在于，所述从前帧图像和后帧图像中提取对应的前帧特征图和后帧特征图包括：将所述前帧图像和所述后帧图像同步输入到特征提取模块，得到所述前帧特征图和所述后帧特征图。3.根据权利要求1所述的基于时空编码的低延时视频插帧方法，其特征在于，所述将前帧特征图和后帧特征图激活包括：将前帧特征图和后帧特征图分别与待插帧时刻的时序编码矩阵相乘，得到编码前帧特征图和编码后帧特征图，采用非线性激活函数分别对所述编码前帧特征图和编码后帧特征图进行非线性激活，得到激活后的前帧特征图和激活后的后帧特征图。4.根据权利要求1所述的基于时空编码的低延时视频插帧方法，其特征在于，所述将激活后的前帧特征图和激活后的后帧特征图进行叠加，得到特征编码特征图包括：将激活后的前帧特征图的图像矩阵的一元素和激活后的后帧特征图的图像矩阵对应位置的另一元素进行比较，将所述一元素和所述另一元素中的较小值确定为所述对应位置的叠加后元素，按照此方式将激活后的前帧特征图的图像矩阵与激活后的后帧特征图的图像矩阵中的所有剩余元素进行叠加，得到特征编码特征图。5.根据权利要求1所述的基于时空编码的低延时视频插帧方法，其特征在于，所述对特征编码特征图进行解码，得到待插入的帧图像，构建出插帧模型包括：将特征编码特征图输入到特征重建模块，重建得到需要插入的帧图像，完成插帧模型的构建。6.根据权利要求2所述的基于时空编码的低延时视频插帧方法，其特征在于，所述特征提取模块包括：时...

【专利技术属性】
技术研发人员：朱文康，冯雨，宋捷，
申请(专利权)人：芯动微电子科技武汉有限公司，
类型：发明
国别省市：