具有增强的深度效果的计算机图形制造技术

技术编号:14646531 阅读:81 留言:0更新日期:2017-02-16 03:19
本发明专利技术描述用于以增强的深度幻觉来处理描绘运动序列的三维图形的系统和方法。所述图形可包括映射到二维观看窗口的三维内容与渲染到所述观看窗口上的额外参考图像。所述参考图像可在所述观看窗口的一个或多个部分处界定,且依据所述观看窗口的每个部分处的所述内容的所述深度而渲染为遮挡所述内容或被所述内容遮挡。

【技术实现步骤摘要】
【国外来华专利技术】
本公开的各方面涉及三维图形处理和图像序列,其为观看者提供三维深度的增强幻觉。
技术介绍
大多数显示装置依赖于二维像素阵列或另外依赖于二维图像,以便向观看者呈现图形,即使图形的下面的内容可能是三维的(例如,渲染的3D计算机图形、现实记录内容和类似者)也如此。虽然足够,但当以此方式在二维显示器上显示3D图形时对于观看者来说会丢失深度的特定维度,且已经作出许多尝试来开发可提供3D深度的丰富幻觉以便为观看者增强视觉体验的技术。用于模拟3D深度的幻觉的传统技术常常依赖于体视学的原理以向观看者呈现模拟深度的幻觉的3D图像。体视学依赖于两个偏移图像,其一起组成为3D图像,其中分别向观看者的左眼和右眼中的每一者单独地呈现所述两个偏移图像。每个偏移图像自身是相同内容的二维图像,但这些左眼和右眼图像被每只眼睛单独地感知,且在大脑中进行组合以便提供深度的幻觉。图像中的偏移实质上模拟在现实世界中人类一般使用他们的偏移的左眼和右眼感知深度的方式,因此产生深度的幻觉。遗憾的是,虽然立体显示器已经存在了数十年,但它们从未完全实现用于取代常规二维显示器的主流流行类型。立体显示装置常常需要特殊眼镜组,这对于观看者来说是麻烦的。另外,需要某一形式的专用硬件以便呈现立体图像,这增加了成本且渲染不适合于在许多现有的显示装置上观看的立体图像。近来,已经针对被称为“3DGIF”的小帧序列尝试了用于模拟深度的幻觉的技术,所述小帧序列依赖于存储在单个动画GIF(图形交换格式)文件中的小组图像。二维GIF一般循环通过小图像序列,来自预先记录或预先渲染的视频,通常为少量帧,以便产生具有运动幻觉的短动画。通常以与这些普通二维GIF类似的方式将3DGIF动画化,但并入了某些特征来增强帧序列的3D效果,使得好像图像的某些预先选择的对象在观看者处弹出以便在深度方向上模拟运动幻觉,而不需要任何特殊立体或三维显示装置。传统上,3DGIF主要通过使用以下技术中的至少一者来完成此技艺。第一种技术利用固定到帧的一组垂直定向的实心白条,借此描绘下面的场景内容。当动画前进通过帧序列且场景中的内容要素在动画期间改变位置时,这些条的相对于场景的位置在整个动画中保持固定在静止位置,从而实质上在屏幕的位置处为观看者界定参考平面。此外,这些垂直条起初完全遮挡了它们所在的场景的内容的一部分,从而完全阻碍对帧的下面的对象的观看。这给出被阻碍的部分位于所述条后方的表象。当动画前进到序列中的稍后帧时,所述条的部分被选择性地移除,从而给出以下表象:由3DGIF创造者手动确定成被感知为在深度方向上移动的一个或多个预先选择的对象已经在这些条的前方移动(更靠近观看者)且已经跨过由这些条界定的平面。这产生以下幻觉:当动画前进时,预先选择的对象在深度方向上移动更靠近观看者,进而为观看者模拟出3D效果。一些传统3DGIF尝试增强深度的幻觉的另一种方式是通过场景的焦点特性。举例来说,在一些例子中,当动画前进到序列中的稍后帧时,会更改场深度。场深度起初可能较大,使得广泛范围的场景处于焦点对准,不仅包括预先选择的对象,而且还包括大部分背景和场景中的其他对象。在动画前进时,场深度以一种方式收缩,使得预先选择的对象保持焦点对准,但大部分背景和其他远距离对象脱离焦点。当动画前进到稍后阶段时,稍后帧中的远距离对象的所得的模糊效果于是增强了预先选择的对象已经在深度方向上移动的感知程度。在一些例子中,场深度的大小可保持静态,但可使用深度方向上的焦点的位置来增强幻觉。举例来说,焦点的位置可在深度方向上更靠近观看者,例如更靠近屏幕,且预先选择的对象起初可位于远距离背景中且脱离焦点。当对象移动更靠近观看者时,其得到更好的聚焦,因为其在深度方向上的运动使得其更靠近焦点。基于焦点特性的这两种技术实质上依赖于由脱离焦点的背景对象产生的深度的增强幻觉。遗憾的是,这些传统技术仅适合于预定帧的短序列,且需要人类创造者对图像的谨慎手动操纵。需要手动观察以便确定哪些要素可能在深度方向上移动,且相应地调整帧的视觉特性。另外,在人类创造者未谨慎选择的情况下,可能遮挡了场景的重要要素,且添加的效果可能更分散观看者的注意力。在此背景下出现了本公开的各方面。附图说明可容易通过结合附图考虑以下详细描述来理解本公开的教示,附图中:图1A到图1D是描绘根据本公开的各方面的具有增强3D效果的运动序列的示意图。图2A到图2D是描绘根据本公开的额外方面的具有增强3D效果的另一运动序列的示意图。图3A到图3D是描绘根据本公开的额外方面的具有增强3D效果的另一运动序列的示意图。图4A到图4H是描绘根据本公开的各种实施的参考图像的不同实例的示意图。图5A到图5B是描绘根据本公开的各方面的以增强3D效果渲染图形的方法的流程图。图5A描绘渲染3D内容与参考图像的方法,且图5B描绘用于渲染图5A中所描绘的参考图像的更详细流程图。图6是描绘根据本公开的各方面的使用基于多边形的图形渲染流水线根据图5A到图5B中所描绘的方法来渲染图形的方法的流程图。图7是根据本公开的各方面的被配置成渲染图形的系统的示意图。具体实施方式虽然以下详细描述出于说明的目的而含有许多具体细节,但本领域普通技术人员将了解,对以下细节的许多变化和更改在本专利技术的范围内。因此,在没有本专利技术的一般性的任何损失的情况下且在不向本专利技术强加限制的情况下陈述下文所描述的本专利技术的示范性实施例。本公开的各方面包括用于增强视频和图形帧序列的三维效果的技术。本公开的某些实施可适合于实时应用,例如响应于用户输入而渲染的视频游戏和其他计算机图形,其中可由图形处理系统在先前不了解场景的下面的内容的情况下自动添加三维效果。根据某些方面,可通过渲染通过观看窗口的场景与固定到场景的观看窗口的参考图像而提供三维效果。在某些实施中,可基于用于3D图形渲染流水线的深度缓冲器(例如,图形存储器中的Z缓冲器)中含有的信息相对于场景中的对象来渲染参考图像。由于深度缓冲器常常已经被维持用于场景内的内容的隐藏表面移除和z挑选,所以深度缓冲器为系统提供一种用于以一种方式将额外参考图像自动地覆盖到场景的内容上以使得基于场景内的内容要素的深度来增强深度的幻觉的方式。根据某些额外方面,通过使用像素着色器来产生参考图像,参考图像还可固定到观看窗口,所述像素着色器可提供让应用渲染固定到观看窗口的参考图像的直观方式。当在深度缓冲器中与信息组合时,可容易基于每个像素来确定对象相对于参考图像的深度,从而以增强三维效果的方式在运行中渲染参考图像。根据某些额外方面,参考图像可包括某些特征,其防止参考图像完全遮挡场景中的下面的对象的观看。举例来说,所述参考图像可为半透明的,且允许被遮挡的对象以某一方式可穿过参考图像部分看到。由于场景的内容可能未预先知道,所以此可避免参考图像对场景的重要对象的干扰和遮挡。为了说明本公开的某些方面,图1A到图1D描绘随覆盖的参考图像渲染以提供3D深度的增强幻觉的运动序列的实例。图1A到图1D的不同所说明的图像中的每一者可对应于运动序列中的不同时间点。在所说明的实例中,运动序列的不同时间点分别在图1A到图1D中被描绘为含有3D图形的运动序列中的不同帧102a-d。所说明的图形描绘由一个或多个对象构成的三维场景内容104,且三维场景内容10本文档来自技高网...
<a href="http://www.xjishu.com/zhuanli/55/201580021757.html" title="具有增强的深度效果的计算机图形原文来自X技术">具有增强的深度效果的计算机图形</a>

【技术保护点】
一种渲染图形的方法,所述图形包括描绘运动序列的三维内容,所述方法包括:a)渲染映射到二维观看窗口的所述三维内容;以及b)除所述三维内容以外,将参考图像渲染到所述观看窗口上,其中在所述观看窗口的一个或多个部分处界定所述参考图像,其中所述一个或多个部分少于所述观看窗口的全部,且其中所述在b)中渲染所述参考图像包括,对于所述一个或多个部分的每个给定部分:i)通过检查深度缓冲器中含有的映射到所述给定部分的所述三维内容的深度值而确定所述内容的深度是否超出深度阈值,ii)当在i)中确定映射到所述给定部分的所述内容的所述深度超出所述深度阈值时,使用所述参考图像遮挡映射到所述给定部分的所述内容,以及iii)当在i)中确定映射到所述给定部分的所述内容的所述深度不超出所述深度阈值时,使用映射到所述给定部分的所述内容遮挡所述参考图像。

【技术特征摘要】
【国外来华专利技术】2014.04.25 US 14/262,6461.一种渲染图形的方法,所述图形包括描绘运动序列的三维内容,所述方法包括:a)渲染映射到二维观看窗口的所述三维内容;以及b)除所述三维内容以外,将参考图像渲染到所述观看窗口上,其中在所述观看窗口的一个或多个部分处界定所述参考图像,其中所述一个或多个部分少于所述观看窗口的全部,且其中所述在b)中渲染所述参考图像包括,对于所述一个或多个部分的每个给定部分:i)通过检查深度缓冲器中含有的映射到所述给定部分的所述三维内容的深度值而确定所述内容的深度是否超出深度阈值,ii)当在i)中确定映射到所述给定部分的所述内容的所述深度超出所述深度阈值时,使用所述参考图像遮挡映射到所述给定部分的所述内容,以及iii)当在i)中确定映射到所述给定部分的所述内容的所述深度不超出所述深度阈值时,使用映射到所述给定部分的所述内容遮挡所述参考图像。2.根据权利要求1所述的方法,其中所述运动序列包括多个时间增量,其中针对每个所述时间增量来重复a)和b),其中所述一个或多个部分是多个部分,其中在每个所述时间增量内,针对每个所述部分来重复i)、ii)和iii)。3.根据权利要求1所述的方法,其中所述运动序列包括多个帧,其中针对每个所述帧来重复a)和b),其中所述一个或多个部分是多个部分,其中每个所述部分是像素,其中在每个所述帧内,针对每个所述像素来重复i)、ii)和iii)。4.根据权利要求1所述的方法,其中所述一个或多个部分共同地界定所述观看窗口的一个或多个垂直柱。5.根据权利要求1所述的方法,其中所述一个或多个部分共同地界定所述观看窗口的一个或多个垂直柱,其中每个所述垂直柱是矩形条。6.根据权利要求1所述的方法,其中所述一个或多个部分共同地界定所述观看窗口的一个或多个垂直柱,其中每个所述垂直柱是延伸所述观看窗口的整个高度的矩形条。7.根据权利要求1所述的方法,其中所述一个或多个部分共同地界定所述观看窗口的周边处的框架。8.根据权利要求1所述的方法,其中像素着色器执行所述在b)中渲染所述参考图像。9.根据权利要求1所述的方法,其中所述在ii)中遮挡所述内容包括将所述参考图像渲染为部分看透,使得由所述参考图像遮挡的所述内容部分可见。10.根据权利要求1所述的方法,其中所述在ii)中遮挡所述内容包括将所述参考图像渲染为部分看透,使得由所述参考图像遮挡的所述内容部分可见,其中所述将所述参考图像渲染为部分看透包括将所述内容的参数值与所述参考图像的参数值阿尔法混合。11.根据权利要求1所述的方法,其中所述运动序列包括多个帧,其中由GPU针对每个所述帧来重复a)和b),其中所述一个或多个部分是多个部分,其中每个所述部分是像素,其中在每个所述帧内,由所述GPU所执行的像素着色器针对每个所述像素来重复i)、ii)和iii)。12.根据权利要求1所述的方法,其中所述运动序列包括多个帧,其中由GPU针对每个所述帧来重复a)和b),其中所述一个或多个部分是多个部分,其中每个所述部分是像素,其中在每个所述帧内,由所述GPU所执行的像素着色器针对每个所述像素来重复i)、ii)和iii),其中所述在ii)中使用所述参考图像遮挡所述内容包括通过抛弃所述内容的像素参数值且使用参考图像像素参数值取代它们来渲染不透明的参考图像像素。13.根据权利要求1所述的方法,其中所述运动序列包括多个帧,其中由GPU针对每个所述帧来重复a)和b),其中所述一个或多个部分是多个部分,其中每个所述部分是像素,其中在每个所述帧内,由所述GPU所执行的像素着色器针对每个所述像素来重复i)、ii)和iii),其中所述在ii)中使用所述参考图像遮挡所述内容包括通过将所述内容的像素参数值与参考图像像素参数值阿尔法混合来渲染半透明的参考图像像素。14.根据权利要求1所述的方法,其中所述在b)中渲染所述参考图像包括以与显示装置壳体匹配的色彩来渲染所述参考图像。15.根据权利要求1所述的方法,其中所述三维内容是交互视频游戏的玩游戏连续镜头。16.根据权利要求1所述的方法,其中所述三维内容是交互视频游戏的玩游戏连续镜头,其中所述在b)中渲染所述参考图像包括在玩游戏期间实时地渲染所述参考图像。17.根据权利要求1所述的方法,其中所述运动序列包括多个时间增量,其中针对每个所述时间增量来重复a)和b),其中所述一个或多个部分是多个部分,其中在每个所述时间增量内,针对每个所述部分来重复i)、ii)和iii),其中所述在b)中渲染所述参考图像包括:在b)的一个或多个不同各自重复处使用一个或多个不同组参数来渲染所述参考图像,使得所述参考图像的所述参数跨所述运动序列随时间是动态的。18.根据权利要求1所述的方法,其中所述运动序列包括多个时间增量,其中针对每个所述时间增量来重复a)和b),其中所述一个或多个部分是多个部分,其中在每个所述时间增量内,针对每个所述部分来重复i)、ii)和iii),其中所述在b)中渲染所述参考图像包括在b)的每个不同各自重复处使用相等组参数来渲染所述参考图像,使得所述参考图像的所述参数跨所述运动序列随时间是静态的。19.根据权利要求1所述的方法,其中所述运动序列包括多个时间增量,其中针对每个所述时间增量来重复a)和b),其中所述一个或多个部分是多个部分,其中在每个所述时间增量内,针对每个所述部分来重复i)、ii)和iii),其中在每个所述时间增量内,所述在ii)中使用所述参考图像遮挡所述内容包括:在ii)的一个或多个不同各自重复处使用一个或多个不同参数来渲染所述参考图像的所述给定部分,使得所述参考图像的所述参数跨所述观看窗口在空间上不统一。20.根据权利要求1所述的方法,其中所述运动序列包括多个时间增量,其中针对每个所述时间增量来重复a)和b),其中所述一个或多个部分是多个部分,其中在每个所述时间增量内,针对每个所述部分来重复i)、ii)和iii),其中在每个所述时间增量内,所述在ii)中使用所述参考图像遮挡所述内容包括:在ii)的每个不同各自重复处使用相等参数来渲染所述参考图像的所述给定部分,使得所述参考图像的所述参数跨所述观看窗口在空间上统一。21.根据权利要求1所述的方法,其中所述三维内容是交互视频游戏的玩游戏连续镜头,其中所述运动序列包括多个帧,其中针对每个所述帧来重复a)和b),其中所述一个或多个部分是共同地界定所述观看窗口的一个或多个垂直柱的多个像素,其中在每个所述帧内,由像素着色器针对每个所述像素来重复i)、ii)和iii)。22.一种系统,其包括:至少一个处理器,以及至少一个存储器,其中所述至少一个处理器被配置成执行具有描绘运动序列的三维图形内容的应用,其中所述处理器被配置成执行渲染图形的方法,所述图形包括描绘运动序列的三维内容,所述方法包括:a)渲染映射到二维观看窗口的所述三维内容;以及b)除所述三维内容以外,将参考图像渲染到所述观看窗口上,其中在所述观看窗口的一个或多个部分处界定所述参考图像,其中所述一个或多个部分少于所述观看窗口的全部,且其中所述在b)中渲染所述参考图像包括,对于所述一个或多个部分的每个给定部分:i)通过检查所述存储器中的深度缓冲器中含有的映射到所述给定部分的所述三维内容的深度值而确定所述内容的深度是否超出深度阈值,ii)当在i)中确定映射到所述给定部分的所述内容的所述深度超出所述深度阈值时,使用所述参考图像遮挡映射到所述给定部分的所述内容,以及iii)当在i)中确定映射到所述给定部分的所述内容的所述深度不超出所述深度阈值时,使用映射到所述给定部...

【专利技术属性】
技术研发人员:B莫吉列夫斯基RB斯滕森
申请(专利权)人:索尼互动娱乐美国有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1