用于动画视频插帧扩散模型的构建方法及应用扩散模型的中间帧生成方法技术

技术编号:42470643 阅读:16 留言:0更新日期:2024-08-21 12:55
本申请提供了一种用于动画视频插帧扩散模型的构建方法、装置、电子设备及存储介质,涉及计算机技术领域。其中,该方法包括:基于ControlNet作为基础框架,基于获取的前后帧的条件信息对扩散模型进行控制生成;基于所述前后帧获取对应的前后帧潜在表示;将所述前后帧潜在表示进行融合并获取对应的前后帧融合结果,并将前后帧融合结果输入到ControlNet的Unet编码器确定为主要控制条件;基于所述前后帧潜在表示获取对应的前后帧特征,并将所述前后帧特征确定为前后帧补充信息,将所述前后帧补充信息输入到ControlNet的Unet编码器,将ControlNet进行训练直至收敛确定对应目标扩散模型。本申请解决了相关技术中在动画插帧网络中受限于光流影响的问题。

【技术实现步骤摘要】

本申请涉及中间帧生成,具体而言,本申请涉及一种用于动画视频插帧扩散模型的构建方法及应用扩散模型的中间帧生成方法


技术介绍

1、传统二维动画是一种拥有独特风格的影像作品,其制作方式和画面特征与真实场景的影像存在显著差异。在存储、传输和播放过程中,传统二维动画可能面临时序不连续的问题,导致动画视频出现卡顿和掉帧的现象。为了解决这些问题,动画插帧技术成为必要的工具,用于在两个相邻的动画帧之间生成额外的中间帧,以平滑过渡动画。对于插帧任务,在传统工业界中有两种处理路线:第一种是根据前后帧进行线性插值;第二种是进行光流估计,即通过估计相邻帧之间的运动矢量生成新的中间帧。线性插值方法是通过对两个已知帧之间的像素值进行加权平均来计算新的像素值,但这种传统方法存在明显的模糊和失真。光流估计方法则需要进行像素间的匹配,通过对图像中某些特征的比较来匹配关键点,并计算出这些点之间的位移向量。相比传统的帧间线性插值,光流估计方法的效果更好。但是二维动画数据缺乏精确的光流信息,在制作过程中很难进行矢量标定,从而阻碍了一些利用光流信息进行插帧的方法在动画领域的应用。

2本文档来自技高网...

【技术保护点】

1.一种用于动画视频插帧扩散模型的构建方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,在所述基于所述前后帧获取对应的前后帧补充信息的方法中,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,在所述基于所述前后帧获取对应的前后帧潜在表示的方法中,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,在所述前后帧潜在表示进行融合的方法中,所述方法还包括:

5.一种应用扩散模型的中间帧生成方法,其特征在于,包括:

6.一种用于动画视频插帧扩散模型的构建装置,其特征在于,包括:

<p>7.如权利要求6...

【技术特征摘要】

1.一种用于动画视频插帧扩散模型的构建方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,在所述基于所述前后帧获取对应的前后帧补充信息的方法中,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,在所述基于所述前后帧获取对应的前后帧潜在表示的方法中,所述方法还包括:

4.如权利要求1所述的方法,其特征在于,在所述前后帧潜在表示进行融合的方法中,所述方法还包括:

5.一种应用扩散模型的中间帧生成方法,其特征在于,包括:

6....

【专利技术属性】
技术研发人员:李雨航谢良彬董超
申请(专利权)人:中国科学院深圳先进技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1