System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于深度神经网络的毛发渲染系统技术方案_技高网

基于深度神经网络的毛发渲染系统技术方案

技术编号:40311996 阅读:5 留言:0更新日期:2024-02-07 20:54
一种渲染对象的方法,所述方法包括:从多个视图捕获所述对象的多个图像;获得每个图像的掩模;通过来自轮廓算法的结构获得3D代理几何体;使用3D代理为每个图像渲染一张深度图;用深度图训练基于神经辐射场(基于NeRF的)深度神经网络;以及为多个新视图渲染多个图像。该方法可以生成照片真实感渲染结果。特别地,在我们的框架中应用了加速方法,这可以加速训练和渲染过程。此外,引入了基于补丁的训练方案,这显著地提高了输出的质量并保留了高频细节。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术总体上涉及计算机图形领域,并且更具体地,涉及基于深度神经网络的渲染系统。


技术介绍

1、随着近年来主动和被动3d扫描技术的发展,复杂物体的高质量3d重建变得越来越容易,并且重建质量也得到了提高。然而,重建自然且准确的曲面仍然是一个挑战。最新的解决方案要么依赖于非常复杂的照明系统和数据处理技术,要么需要大量的人工参与来将参数表面模型拟合到实际物体。一个特别具有挑战性的例子是诸如毛发、毛皮和皮革的毛发物体的重建。这些物体具有透明度随着视点的改变而改变的特性。因此,难以同时对它们的几何形状和表面建模,并且难以渲染这种毛发物体的高质量图片。

2、在图像渲染领域,现有的基于图像的建模和渲染方法(诸如iboh方法)使用视点相关体积表示来对毛发物体进行建模,这只能在超密集相机设置下获得。因此,成本高且操作复杂。在传统的计算机图形学领域,渲染高质量的毛发物体花费大量的时间,并且通常需要有经验的专家手动创建精细的三维毛发模型,因此存在高的行业壁垒和创建成本。所创建的模型也难以真正符合人们对毛发物体的感知。

3、应当注意,在该
技术介绍
部分中公开的上述信息仅是为了便于理解本专利技术的
技术介绍
,因此可以包含本领域普通技术人员已知的信息。


技术实现思路

1、鉴于上述现有技术的局限性,本专利技术提供了一种解决上述局限性的基于深度神经网络的毛发渲染系统。根据以下详细描述,本专利技术的附加特征和优点将变得显而易见。

2、本专利技术的一个方面涉及一种渲染物体的方法。该方法可以包括从多个视点捕获物体的多个图像,获得每个图像的alpha遮罩,通过轮廓恢复结构算法(structure fromsilhouette algorithm)获得3d代理几何结构,使用3d代理几何结构渲染每个图像的深度图,利用具有深度的图像训练基于神经辐射场(基于nerf)的深度神经网络,以及为多个新视点渲染多个图像。

3、在本专利技术公开的示例性实施例中,该方法还可以包括利用具有深度的图像的区域中的像素来训练基于神经辐射场(基于nerf)的深度神经网络。

4、在本专利技术公开的示例性实施例中,区域的时间起点tn可以通过tn=ds-df*dr来计算。该区域的时间终点tf可以通过tf=ds+df(1-dr)来计算。ds为图像的深度,df为采样范围,dr为采样数的比。

5、在本专利技术公开的示例性实施例中,可以基于使用3d代理几何结构渲染的最近深度和最远深度来设置df和dr。

6、在本专利技术公开的示例性实施例中,训练中使用的具有深度的图像中的像素不超过多个图像中像素的10%。

7、在本专利技术公开的示例性实施例中,该方法还可以包括将具有深度的图像划分成多个块,以及利用具有深度的图像以具有用于监督的感知损失函数的块的方式训练基于神经辐射场(基于nerf)的深度神经网络。

8、在本专利技术公开的示例性实施例中,该方法还可以包括使用使用损失函数的rgb监督和alpha监督来训练基于神经辐射场(基于nerf)的深度神经网络。

9、在本专利技术公开的示例性实施例中,基于神经辐射场(基于nerf)的深度神经网络可以包括多层unet卷积网络。

10、在本专利技术公开的示例性实施例中,基于神经辐射场(基于nerf)的深度神经网络可以包括生成对抗网络。并且该方法还可以包括使用使用损失函数的rgb监督来训练生成对抗网络。

11、在本专利技术公开的示例性实施例中,该方法还可以包括使用使用损失函数的rgb监督和伪监督来训练生成对抗网络。

12、在本专利技术公开的示例性实施例中,物体可以包括毛发。

本文档来自技高网...

【技术保护点】

1.一种渲染物体的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求2所述的方法,其特征在于,所述区域的时间起点tn和时间终点tf通过以下方式计算:

4.根据权利要求3所述的方法,其特征在于,基于使用所述3D代理几何结构渲染的最近深度和最远深度来设置df和dr。

5.根据权利要求2所述的方法,其特征在于,训练中使用的所述具有深度的图像中的所述像素不超过所述多个图像中像素的10%。

6.根据权利要求1所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求1所述的方法,其特征在于,所述基于神经辐射场(基于NeRF)的深度神经网络包括多层UNet卷积网络。

9.根据权利要求1所述的方法,其特征在于,所述基于神经辐射场(基于NeRF)的深度神经网络包括生成对抗网络,并且所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,还包括:

11.根据权利要求1所述的方法,其特征在于,所述物体包括毛发。

12.一种渲染物体的设备,其特征在于,包括:

13.根据权利要求12所述的设备,其特征在于,所述利用具有深度的图像训练基于神经辐射场(基于NeRF)的深度神经网络包括:

14.根据权利要求13所述的设备,其特征在于,所述区域的时间起点tn和时间终点tf通过以下方式计算:

15.根据权利要求14所述的设备,其特征在于,基于使用所述3D代理几何结构渲染的最近深度和最远深度来设置df和dr。

16.根据权利要求13所述的设备,其特征在于,训练中使用的所述具有深度的图像中的所述像素不超过所述多个图像中像素的10%。

17.根据权利要求12所述的设备,其特征在于,所述利用具有深度的图像训练基于神经辐射场(基于NeRF)的深度神经网络包括:

18.根据权利要求12所述的设备,其特征在于,所述利用具有深度的图像训练基于神经辐射场(基于NeRF)的深度神经网络包括:

19.根据权利要求12所述的设备,其特征在于,所述基于神经辐射场(基于NeRF)的深度神经网络包括多层UNet卷积网络。

20.根据权利要求12所述的设备,其特征在于,所述基于神经辐射场(基于NeRF)的深度神经网络包括生成对抗网络,且所述利用具有深度的图像训练基于神经辐射场(基于NeRF)的深度神经网络包括:

21.根据权利要求20所述的设备,其特征在于,所述利用具有深度的图像来训练基于神经辐射场(基于NeRF)的深度神经网络包括:

22.根据权利要求12所述的设备,其特征在于,所述物体包括毛发。

...

【技术特征摘要】
【国外来华专利技术】

1.一种渲染物体的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求2所述的方法,其特征在于,所述区域的时间起点tn和时间终点tf通过以下方式计算:

4.根据权利要求3所述的方法,其特征在于,基于使用所述3d代理几何结构渲染的最近深度和最远深度来设置df和dr。

5.根据权利要求2所述的方法,其特征在于,训练中使用的所述具有深度的图像中的所述像素不超过所述多个图像中像素的10%。

6.根据权利要求1所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求1所述的方法,其特征在于,所述基于神经辐射场(基于nerf)的深度神经网络包括多层unet卷积网络。

9.根据权利要求1所述的方法,其特征在于,所述基于神经辐射场(基于nerf)的深度神经网络包括生成对抗网络,并且所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,还包括:

11.根据权利要求1所述的方法,其特征在于,所述物体包括毛发。

12.一种渲染物体的设备,其特征在于,包括:

13.根据权利要求12所述的设备,其特征在于,所述利用具有深度的图像训练基于神经辐射场(基于nerf)的深度神经网络...

【专利技术属性】
技术研发人员:罗海旻吴旻烨许岚虞晶怡
申请(专利权)人:上海科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1