用于渲染图像的三维建模体积制造技术

在一个实施例中，一种方法包括：访问对象的多个图片；通过使用机器学习框架处理多个图片来构建用于对象的三维建模的建模体积，其中建模体积与多个颜色和不透明度信息相关联，这些颜色和不透明度信息与建模体积中的多个区域相关联；以及使用建模体积从视点渲染对象的图像，其中通过以下操作渲染图像的每个像素：从视点投射虚拟射线并穿过建模体积，确定建模体积中的多个区域中的与虚拟射线相交的一个或更多个区域，并基于与多个区域中的和虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定像素的颜色和不透明度。度。度。

【技术实现步骤摘要】
【国外来华专利技术】用于渲染图像的三维建模体积
[0001]相关申请的交叉引用
[0002]本申请要求2019年4月9日提交的美国申请第16/379,615号的优先权，出于所有目的，该申请的内容通过引用整体结合于此。


[0003]本公开一般涉及人工现实系统，且尤其涉及构建对象的三维建模体积。
[0004]背景
[0005]本专利技术的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，并且它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中被使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
[0006]特定实施例的概述
[0007]因此，本专利技术涉及根据所附权利要求的方法和系统。在特定实施例中，一个或更多个计算设备可以通过用机器学习框架处理处于一种状态下的目标对象的多个图片来构建用于目标对象的三维(3D)建模的3D建模体积。传统上，因为非结构化对象(包括头发、烟雾、火、云等)难以参数化、具有复杂的体积结构并且具有可变的变形能力，所以认为重建这些非结构化对象是困难的。此外，3D建模通常将对象表示为沿着其表面的小平面对象的集合，但是这种表示对于高度弯曲的表面和复杂的形状表现不佳。一个或更多个计算设备可以基于3D建模体积重建对象的图像，以克服这些限制。优选的第一计算设备可以访问处于第一状态下的对象的第一多个图片。第一多个图片可以分别从第一多个视点拍摄。在特定实施例中，优选的第一计算设备可以通过使用机器学习框架处理第一多个图片来构建用于对象的3D建模的建模体积。建模体积可以与多个颜色和不透明度(opacity)信息相关联，这些信息可以与建模体积中的多个区域相关联。在特定实施例中，机器学习框架包括编码器和解码器。编码器可以基于输入的图片的信息来构建编码向量。解码器可以通过解码编码向量来产生建模体积。在特定实施例中，编码器可以是卷积神经网络。在特定实施例中，解码器可以是卷积解码器。在特定实施例中，解码器可以是线性基解码器(linear basis decoder)。在特定实施例中，一个或更多个计算设备可以修改处于一种状态下的对象的编码向量，以生成用于对处于另一种状态下的对象进行建模的建模体积。在特定实施例中，一
个或更多个计算设备可以线性地插值处于第一状态下的对象的第一编码向量和处于第二状态下的对象的第二编码向量，以生成用于对处于第三状态下的对象进行建模的建模体积。第三状态可以在第一状态和第二状态之间。在特定实施例中，优选的第二计算设备可以使用建模体积从虚拟视点渲染对象的二维(2D)图像。优选的第二计算设备可以不同于优选的第一计算设备。优选的第二计算设备可以基于与建模体积相关联的多个颜色和不透明度信息来渲染图像的每个像素。优选的第二计算设备可以从虚拟视点投射虚拟射线穿过建模体积。虚拟射线可以与图像中的像素相交。优选的第二计算设备可以确定建模体积中的多个区域中与虚拟射线相交的一个或更多个区域。优选的第二计算设备可以基于与多个区域中的和虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定像素的颜色和不透明度。在特定实施例中，当优选的第二计算设备累积与和虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息时，优选的第二计算设备可以累积与一个或更多个区域相关联的不透明度加权颜色，直到与一个或更多个区域相关联的累积不透明度达到阈值。优选的第三计算设备可以训练机器学习框架。优选的第三计算设备可以不同于优选的第一计算设备。优选的第三计算设备可以不同于优选的第二计算设备。优选的第三计算设备可以通过重复迭代来训练机器学习框架，直到满足预定条件。优选的第三计算设备可以访问对象的第二多个图片。第二多个图片可以分别从第二多个视点拍摄。优选的第三计算设备可以通过使用机器学习框架处理第二多个图片的子集来构建用于对象的三维建模的第二建模体积。第一多个视点可以是第二多个视点的子集。第二多个图片的子集可以从第一多个视点拍摄。优选的第三计算设备可以从对应于第二多个视点的多个虚拟视点渲染对象的多个二维图像。优选的第三计算设备可以基于多个二维图像和第二多个图片之间的比较来更新机器学习框架。为了基于多个二维图像和第二多个图片之间的比较来更新机器学习框架，优选的第三计算设备可以基于在从虚拟视点渲染的多个二维图像中的每一个与第二多个图片中的从对应视点拍摄的图片之间的比较来计算预定损失函数。优选的第三计算设备可以通过基于计算的损失函数执行反向传播来调整机器学习框架的参数。从第二多个视点拍摄的对象的一组或更多组图片可以用于训练。一组或更多组图片中的每一组都可以用作每次迭代的输入。一组或更多组中的每一组可以对应于一个时间实例。第二多个视点中的每一个的背景在时间实例上可以是静态的。在特定实施例中，建模体积中的区域可以由包括该区域的颜色和不透明度的信息的体素(voxel)来表示。区域的颜色可以由RGB颜色代码表示。区域的不透明度可以用0到1之间的标量值来表示。在特定实施例中，建模体积可以由三维翘曲(warp)体积和三维信息体积表示。翘曲体积中的每个区域可以指向信息体积中的一个区域。信息体积中的每个区域都与颜色和不透明度的信息相关联。建模体积中的第一区域的颜色和不透明度的信息可以从信息体积中的由翘曲体积中的第三区域指向的第二区域访问。翘曲体积中的第三区域可以对应于建模体积中的第一区域。
[0008]在特定实施例中，一个或更多个计算设备可以访问对象的第一多个图片。第一多个图片可以分别从第一多个视点拍摄。一个或更多个计算设备可以通过使用机器学习框架处理第一多个图片来构建用于对象的三维建模的建模体积。建模体积可以与多个颜色和不透明度信息相关联，这些信息与建模体积中的多个区域相关联。一个或更多个计算设备可以使用建模体积从虚拟视点渲染对象的二维图像。一个或更多个计算设备可以通过基于构建的建模体积确定像素的颜色和不透明度来渲染图像的每个像素。一个或更多个计算设备
可以首先从虚拟视点并通过建模体积投射虚拟射线。一个或更多个计算设备可以确定建模体积中的多个区域中的与虚拟射线相交的一个或更多个。一个或更多个计算设备可以基于与多个区域中的和虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定像素的颜色和不透明度本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由一个或更多个计算设备访问对象的第一多个图片，其中所述第一多个图片分别从第一多个视点拍摄；由所述一个或更多个计算设备通过使用机器学习框架处理所述第一多个图片来构建用于所述对象的三维建模的建模体积，其中所述建模体积与多个颜色和不透明度信息相关联，所述多个颜色和不透明度信息与所述建模体积中的多个区域相关联；和由所述一个或更多个计算设备使用所述建模体积从虚拟视点渲染所述对象的二维图像，其中所述图像的每个像素通过以下方式渲染：从所述虚拟视点投射虚拟射线并穿过所述建模体积；确定所述建模体积中的所述多个区域中的和所述虚拟射线相交的一个或更多个区域；和基于与所述多个区域中的和所述虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定所述像素的颜色和不透明度。2.根据权利要求1所述的方法，其中所述机器学习框架包括编码器和解码器，其中所述编码器基于输入的图片的信息构建编码向量，并且其中所述解码器通过解码所述编码向量来产生建模体积。3.根据权利要求2所述的方法，其中，修改处于一种状态下的所述对象的所述编码向量导致生成用于对处于另一状态下的所述对象进行建模的建模体积。4.根据权利要求3所述的方法，其中，对处于第一状态下的所述对象的第一编码向量和处于第二状态下的所述对象的第二编码向量进行线性插值导致生成用于对处于第三状态下的所述对象进行建模的建模体积，其中所述第三状态处于所述第一状态和所述第二状态之间。5.根据权利要求2所述的方法，其中所述编码器是卷积神经网络。6.根据权利要求2所述的方法，其中所述解码器是卷积解码器，或者其中所述解码器是线性基解码器。7.根据权利要求1所述的方法，其中所述机器学习框架基于包括以下项的步骤来训练：访问所述对象的第二多个图片，其中所述第二多个图片分别从第二多个视点拍摄；和通过重复以下步骤训练所述机器学习框架，直到满足预定条件：通过使用所述机器学习框架处理所述第二多个图片来构建用于所述对象的三维建模的第二建模体积；从对应于所述第二多个视点的多个虚拟视点渲染所述对象的多个二维图像；和基于所述多个二维图像和所述第二多个图片之间的比较...

【专利技术属性】
技术研发人员：斯蒂芬，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：