System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 自适应视频帧混合制造技术_技高网
当前位置: 首页 > 专利查询>辉达公司专利>正文

自适应视频帧混合制造技术

技术编号:41010629 阅读:10 留言:0更新日期:2024-04-18 21:46
本发明专利技术公开了自适应视频帧混合,具体公开了处理图像帧的装置、系统和技术。在至少一个实施例中,在第一视频帧和第二视频帧之间生成一个或更多个中间视频帧。在至少一个实施例中,至少部分地基于第一视频帧或第二视频帧的一个或更多个像素的深度信息来生成一个或更多个中间视频帧。

【技术实现步骤摘要】

至少一个实施例涉及用于执行一个或更多个神经网络的处理资源。例如,至少一个实施例涉及用于使用一个或更多个神经网络插值视频帧的处理资源。


技术介绍

1、实现高质量视频需要耗费大量内存、时间或资源。内存、时间或资源(如计算资源)的使用量有待改善。例如,高分辨率视频包含大量信息,对这些信息的处理和存储会利用大量计算、带宽、内存和其他资源。此外,视频的内容可能很复杂,视频中的多个主体会做不同的事情,这可能会导致视频像素以不直接的方式变化。在某些情况下,视频的增强或其他处理应快速完成,以便使视频处理可用于特定目的,但视频的复杂性,加上视频所含信息量和计算资源的限制,使视频的有效处理变得困难。


技术实现思路

【技术保护点】

1.一种处理器,包括:

2.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于通过至少使用所述深度信息生成所述一个或更多个中间视频帧中的至少一个中间视频帧中的一个或更多个像素来生成所述一个或更多个中间视频帧,其中所述一个或更多个像素缺少在所述第一视频帧和所述第二视频帧中的至少一个中的一个或更多个对应像素。

3.根据权利要求1所述的处理器,其中,所述一个或更多个中间视频帧将使用神经网络生成。

4.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于至少部分地基于一个或更多个混合因子来混合所述一个或更多个中间视频帧。

5.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于通过至少使用所述深度信息以在中间帧中选择所述中间帧的一个或更多个像素来用于生成所述中间帧的一个或更多个其他像素,从而生成所述一个或更多个中间帧。

6.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于使用所述深度信息生成一个或更多个滤波器,所述一个或更多个电路将使用所述一个或更多个滤波器来至少部分地基于所述一个或更多个中间帧的一个或更多个像素的一个或更多个邻近像素计算所述一个或更多个中间帧的所述一个或更多个像素。

7.根据权利要求1所述的处理器,其中,所述一个或更多个中间视频帧将至少部分地基于一个或更多个运动类型而被混合。

8.一种计算机实现的方法,包括:

9.根据权利要求8所述的计算机实现的方法,还包括:

10.根据权利要求8所述的计算机实现的方法,其中,所述深度信息用于确定与所述一个或更多个像素邻近的一个或更多个像素。

11.根据权利要求8所述的计算机实现的方法,其中,所述一个或更多个电路用于至少部分地基于所述第一视频帧和所述第二视频帧之间的光流来生成所述深度信息的至少部分。

12.根据权利要求8所述的计算机实现的方法,还包括:

13.根据权利要求8所述的计算机实现的方法,生成所述一个或更多个中间视频帧包括使用神经网络来生成所述一个或更多个中间视频帧。

14.根据权利要求8所述的计算机实现的方法,还包括:生成用于生成所述一个或更多个中间帧的滤波器。

15.一种计算机系统,包括:

16.根据权利要求15所述的计算机系统,其中,所述一个或更多个中间视频帧将至少部分地基于所述第一视频帧和所述第二视频帧中的至少一个中显示的动态对象的一个或更多个运动而进行混合。

17.根据权利要求15所述的计算机系统,其中,所述一个或更多个中间视频帧将至少部分地基于所述第一视频帧的第一视点位置和所述第二视频帧的第二视点位置而进行混合。

18.根据权利要求15所述的计算机系统,其中,一个或更多个中间视频帧将至少部分地基于所述第一视频帧和所述第二视频帧中的至少一个中显示的一个或更多个静态对象而进行混合。

19.根据权利要求15所述的计算机系统,其中,所述指令包括在至少一个所述中间视频帧中生成至少一个像素的指令,所述至少一个像素缺少在所述第一视频帧和所述第二视频帧中的至少一个中的对应像素。

20.根据权利要求15所述的计算机系统,其中,所述指令使得所述一个或更多个处理器生成所述一个或更多个中间视频帧,所述指令如果由所述一个或更多个处理器执行,则使所述一个或更多个处理器使用所述深度信息来至少部分地基于所述一个或更多个中间视频帧的多个其他像素来计算所述一个或更多个中间视频帧的一个或更多个像素值。

...

【技术特征摘要】

1.一种处理器,包括:

2.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于通过至少使用所述深度信息生成所述一个或更多个中间视频帧中的至少一个中间视频帧中的一个或更多个像素来生成所述一个或更多个中间视频帧,其中所述一个或更多个像素缺少在所述第一视频帧和所述第二视频帧中的至少一个中的一个或更多个对应像素。

3.根据权利要求1所述的处理器,其中,所述一个或更多个中间视频帧将使用神经网络生成。

4.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于至少部分地基于一个或更多个混合因子来混合所述一个或更多个中间视频帧。

5.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于通过至少使用所述深度信息以在中间帧中选择所述中间帧的一个或更多个像素来用于生成所述中间帧的一个或更多个其他像素,从而生成所述一个或更多个中间帧。

6.根据权利要求1所述的处理器,其中,所述一个或更多个电路用于使用所述深度信息生成一个或更多个滤波器,所述一个或更多个电路将使用所述一个或更多个滤波器来至少部分地基于所述一个或更多个中间帧的一个或更多个像素的一个或更多个邻近像素计算所述一个或更多个中间帧的所述一个或更多个像素。

7.根据权利要求1所述的处理器,其中,所述一个或更多个中间视频帧将至少部分地基于一个或更多个运动类型而被混合。

8.一种计算机实现的方法,包括:

9.根据权利要求8所述的计算机实现的方法,还包括:

10.根据权利要求8所述的计算机实现的方法,其中,所述深度信息用于确定与所述一个或更多个像素邻近的一个或更多个像素。

11.根据权利要求8所述的计算机实现的方法,其中,所述一个或...

【专利技术属性】
技术研发人员:罗哲焜R·T·波托夫K·萨普拉J·R·伦登A·J·陶B·C·卡坦扎罗
申请(专利权)人:辉达公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1