一种基于深度学习模型的实时视频插帧方法、装置及产品制造方法及图纸

技术编号:43675211 阅读:23 留言:0更新日期:2024-12-18 20:59
本申请公开了一种基于深度学习模型的实时视频插帧方法、装置及产品,涉及视频处理及传输领域,该方法包括根据传输过来的视频的第一帧图像以及第二帧图像,确定所述第一帧图像的第一局部运动区域以及所述第二帧图像的第二局部运动区域;所述第二帧图像为所述第一帧图像的下一帧图像;将所述第一局部运动区域以及所述第二局部运动区域输入至浅层深度学习视频插值模型,输出合成运动区域;将所述合成运动区域覆盖所述第二局部运动区域,生成合成帧,本申请在GPU性能不高情况下,甚至没有GPU的情况下,也能够对视频进行实时插帧。

【技术实现步骤摘要】

本申请涉及视频处理及传输领域,特别是涉及一种基于深度学习模型的实时视频插帧方法、装置及产品


技术介绍

1、随着计算机技术的迅速发展,软件对硬件资源的需求不断增加,云桌面技术通过将复杂的计算任务转移到服务器上,并通过网络将桌面数据传输到用户端进行交互,在企业办公、教育和医疗等领域得到了广泛应用。然而,随着服务器帧率和用户数量的增加,硬件和网络资源可能出现供不应求的情况,用户在使用过程中可能会遇到图像卡顿和图像质量突然模糊等问题,从而影响用户体验。

2、为了解决这些问题,可以利用视频帧插值技术,通过帧间相关性来减少硬件和网络资源的消耗,并提高硬件利用率。因此,研究云桌面中桌面数据帧插入处理具有重要的价值和意义。

3、目前越来越多的应用可以直接在浏览器中运行,相比采用传统的客户端安装方式,省去了客户端安装这一必要的步骤,极大地减少了应用对系统的依赖,越来越受到人们的重视。

4、现有的视频帧插值技术主要依赖于深度学习模型来实现。例如:kalluri等人提出的flavr模型,利用三维时空卷积核直接从未标注的视频中学习运动属性,简本文档来自技高网...

【技术保护点】

1.一种基于深度学习模型的实时视频插帧方法,其特征在于,所述实时视频插帧方法包括:

2.根据权利要求1所述的基于深度学习模型的实时视频插帧方法,其特征在于,根据传输过来的视频的第一帧图像以及第二帧图像,确定所述第一帧图像的第一局部运动区域以及所述第二帧图像的第二局部运动区域,具体包括:

3.根据权利要求1所述的基于深度学习模型的实时视频插帧方法,其特征在于,将所述第一局部运动区域以及所述第二局部运动区域输入至浅层深度学习视频插值模型,输出合成运动区域,具体包括:所述浅层深度学习视频插值模型包括三层卷积层;

4.根据权利要求1所述的基于深度学习模型的实时...

【技术特征摘要】

1.一种基于深度学习模型的实时视频插帧方法,其特征在于,所述实时视频插帧方法包括:

2.根据权利要求1所述的基于深度学习模型的实时视频插帧方法,其特征在于,根据传输过来的视频的第一帧图像以及第二帧图像,确定所述第一帧图像的第一局部运动区域以及所述第二帧图像的第二局部运动区域,具体包括:

3.根据权利要求1所述的基于深度学习模型的实时视频插帧方法,其特征在于,将所述第一局部运动区域以及所述第二局部运动区域输入至浅层深度学习视频插值模型,输出合成运动区域,具体包括:所述浅层深度学习视频插值模型包括三层卷积层;

4.根据权...

【专利技术属性】
技术研发人员:黄震坤
申请(专利权)人:北京景行锐创软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1