视频插帧方法、装置及服务器制造方法及图纸

技术编号:27887507 阅读:28 留言:0更新日期:2021-03-31 01:55
本发明专利技术提供了一种视频插帧方法、装置及服务器;其中,该方法包括:基于待处理的视频帧序列,确定当前的前向参考帧和后向参考帧;确定前向参考帧及后向参考帧之间的帧相似度;基于帧相似度确定插帧数量;在前向参考帧和后向参考帧之间插入插帧数量对应的视频帧。本发明专利技术可以基于前向参考帧和后向参考帧的帧相似度合理地确定插帧数量,提高了对视频进行插帧处理的灵活性,提高了插帧效果,从而提升了用户的视频观看体验。

【技术实现步骤摘要】
视频插帧方法、装置及服务器
本专利技术涉及图像处理
,尤其是涉及一种视频插帧方法、装置及服务器。
技术介绍
相关技术中,在对视频进行插帧时,通常对视频进行固定倍数的插帧。然而,对于同一个需要进行插帧处理的视频,不同视频片段的视频复杂度不同;对于帧间变化较快(也可以称为视频复杂度较高)的视频片段,按照上述固定倍数进行插帧可能不足以提高视频的流畅度和清晰度;对于帧间变化较慢(也可以称为视频复杂度较低)的视频片段,按照上述固定倍数进行插帧可能较为冗余,人眼无法感知插帧产生的视觉提升,还增大了视频体积;总之,固定倍数的插帧方式欠缺合理性和灵活性,插帧效果不佳。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种视频插帧方法、装置及服务器,以提高对视频进行插帧处理的灵活性,提高插帧效果,从而提升用户的视频观看体验。第一方面,本专利技术实施例提供了一种视频插帧方法,包括:基于待处理的视频帧序列,确定当前的前向参考帧和后向参考帧;确定前向参考帧及后向参考帧之间的帧相似度;基于帧相似度确定插帧数量;在前向参考帧和后向参考帧之本文档来自技高网...

【技术保护点】
1.一种视频插帧方法,其特征在于,包括:/n基于待处理的视频帧序列,确定当前的前向参考帧和后向参考帧;/n确定所述前向参考帧及所述后向参考帧之间的帧相似度;/n基于所述帧相似度确定插帧数量;/n在所述前向参考帧和所述后向参考帧之间插入所述插帧数量对应的视频帧。/n

【技术特征摘要】
1.一种视频插帧方法,其特征在于,包括:
基于待处理的视频帧序列,确定当前的前向参考帧和后向参考帧;
确定所述前向参考帧及所述后向参考帧之间的帧相似度;
基于所述帧相似度确定插帧数量;
在所述前向参考帧和所述后向参考帧之间插入所述插帧数量对应的视频帧。


2.根据权利要求1所述的方法,其特征在于,确定所述前向参考帧及所述后向参考帧的帧相似度的步骤,包括:
通过预先训练完成的特征提取网络,提取所述前向参考帧的第一特征向量和所述后向参考帧的第二特征向量;
计算所述第一特征向量和所述第二特征向量的特征相似度;
将所述特征相似度确定为所述前向参考帧和所述后向参考帧的帧相似度。


3.根据权利要求2所述的方法,其特征在于,提取所述前向参考帧的第一特征向量和所述后向参考帧的第二特征向量的步骤,包括:
如果所述前向参考帧是所述视频帧序列中第一个视频帧,采用所述特征提取网络分别提取所述前向参考帧的第一特征向量和所述后向参考帧的第二特征向量;
如果所述前向参考帧是所述视频帧序列中除所述第一个视频帧以外的视频帧,将上一个后向参考帧的第二特征向量作为当前的所述前向参考帧的第一特征向量;采用所述特征提取网络提取当前的后向参考帧的第二特征向量。


4.根据权利要求2所述的方法,其特征在于,所述特征提取网络包括依次连接的卷积特征提取模块、多尺度特征提取模块和全连接层;
所述卷积特征提取模块用于对输入的视频帧进行卷积计算和平均池化计算,输出初始特征矩阵;
所述多尺度特征提取模块用于通过预设的多种卷积核提取所述初始特征矩阵的多尺度特征,得到多尺度特征矩阵;
所述全连接层用于对所述多尺度特征矩阵进行特征综合处理,得到所述输入的视频帧的特征向量。


5.根据权利要求1所述的方法,其特征在于,基于所述帧相似度确定插帧数量的步骤,包括:
根据所述帧相似度和预设的插帧次数范围,确定插帧次数;
根据所述插帧次数和预设的单次插帧量,确定插帧数量。


6.根据权利要求5所述的方法,其特征在于,根据所述帧相似度和预设的插帧次数范围,确定插帧次数的步骤,包括:
通过以下公式计算插帧次数:
n=Round((B1-B2)·Similarity+B2)
其中,n为所述插帧次数,Round()表示四舍五入的取整运算,B1为预设的最小插帧次数,B2为预设的最大插帧次数;Similarity为所述帧相似度。


7.根据权利要求1所述的方法,其特征在于,在所述前向参考帧和所述后向参考帧之间插入所述插帧数量对应的视频帧的步骤,包括:
如果所述插帧数量为一,将所述前向参考帧和所述后向参考帧输入至预设的预测模型中,输出第一预测...

【专利技术属性】
技术研发人员:鲁方波樊鸿飞汪贤蔡媛
申请(专利权)人:北京金山云网络技术有限公司北京金山云科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1