采用神经渲染的立体表演捕获制造技术

示例实施例涉及用于采用神经渲染进行立体表演捕获的技术。该技术可以涉及初始地使用灯台获得从多个视点并且在各种光照条件下描绘对象的图像和使用红外相机获得与对象相对应的深度数据。神经网络可以基于深度数据从图像中提取对象的特征，并且将这些特征映射到纹理空间(例如，UV纹理空间)中。神经渲染器可以用于生成从目标视图描绘对象的输出图像，使得输出图像中对象的照明与目标视图对准。神经渲染器可以将对象的特征从纹理空间重新采样到图像空间，以生成输出图像。以生成输出图像。以生成输出图像。

【技术实现步骤摘要】
【国外来华专利技术】采用神经渲染的立体表演捕获

技术介绍

[0001]包括移动电话、个人计算机和平板式设备的许多现代计算设备包括图像捕获设备，诸如静态和/或视频相机。图像捕获设备可以捕获人、动物、风景和/或其他物体的图像。
[0002]一些图像捕获设备和/或计算设备可以校正或以其他方式修改捕获的图像。例如，一些图像捕获设备可以提供“红眼”校正，该“红眼”校正去除了在使用诸如闪光灯的亮光所捕获的图像中可能存在的人和动物的看起来红色的眼睛。在捕获的图像被校正之后，校正的图像可以被保存、显示、传送、打印到纸上和/或以其他方式利用。在一些情况下，在图像捕获期间，物体的图像可能遭受弱光照的影响。

技术实现思路

[0003]本文公开的是可以用于开发深度可再光照纹理的技术，其能够对在一个或多个图像中捕获的三维(3D)对象(例如，人)进行数字再光照和自由视点渲染。
[0004]在一个方面，本申请描述了一种方法。该方法涉及：使用相机系统和具有多个灯的灯台(light stage)获得从多个视点并且在多个光照条件下描绘对象的多个图像。该方法还涉及：使用多个红外相机获得与对象相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使用相机系统和具有多个灯的灯台，获得从多个视点并且在多个光照条件下描绘对象的多个图像；使用多个红外相机获得与对象相对应的深度数据；基于与对象相对应的深度数据，使用神经网络从多个图像中提取对象的多个特征；使用神经网络将对象的多个特征映射到纹理空间中；以及使用神经渲染器生成从目标视图描绘对象的输出图像，使得输出图像中对象的照明与目标视图对准，其中，神经渲染器被配置为将对象的特征从纹理空间重新采样到图像空间，以生成输出图像。2.根据权利要求1所述的方法，其中，获得描绘对象的多个图像包括：使用相机系统和灯台，在球形梯度照明条件下捕获描绘对象的多个图像对，使得每个图像对包括梯度图像和逆梯度图像。3.根据权利要求2所述的方法，其中，获得描绘对象的多个图像进一步包括：使用相机系统和灯台捕获一系列图像，所述一系列图像在一次一光的条件下描绘对象，使得来自所述一系列图像的每个图像描绘在来自多个灯中的单个灯的照明下的对象。4.根据权利要求1所述的方法，进一步包括：基于深度数据估计对象的粗略几何；和其中，从多个图像中提取对象的多个特征包括：基于针对对象估计的粗略几何从每个图像中提取特征。5.根据权利要求4所述的方法，其中，基于针对对象估计的粗略几何从每个图像中提取特征包括：使用卷积神经网络从每个图像中提取特征。6.根据权利要求1所述的方法，其中，使用神经网络将对象的多个特征映射到纹理空间中包括：对从多个图像中提取的对象的多个特征进行池化；和使用卷积神经网络变换所述多个特征，以提取隐式反射和局部几何信息。7.根据权利要求6所述的方法，进一步包括：将多个特征重新投影到与目标视点相对应的图像空间中；和提供重新投影到与目标视点相对应的图像空间中的多个特征和一个或多个图形缓冲区作为对于神经渲染器的输入，其中，所述一个或多个图形缓冲区包括基于隐式反射和局部几何信息确定的光照图和反射图中的至少一个。8.根据权利要求7所述的方法，其中，使用神经渲染器生成从目标视图描绘对象的输出图像，使得输出图像中对象的照明与目标视图对准，包括：使得神经渲染器使用重新投影到与目标视点相对应的图像空间中的多个特征和所述一个或多个图形缓冲区来生成从目标视图描绘对象的输出图像。9.根据权利要求8所述的方法，其中，使用神经渲染器生成从目标视图描绘对象的输出图像，使得输出图像中对象的照明与目标视图对准，包括：生成描绘任意环境中的对象的输出图像。10.根据权利要求1所述的方法，其中，使用神经渲染器生成从目标视图描绘对象的输
出图像，使得输出图像中对象的照明与目标视图对准，还包括：从多个视图生成描绘对象的一系列图像，使得每个图像中对象的照明与和所述图像相关联的特定视图对准。11.根据权利要求1所述的方法，其中，将与对象相对应的特征映射到纹理空间中包括：确定被配置为将像素从图像空间映...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：