当前位置: 首页 > 专利查询>浙江大学专利>正文

一种实现照片级真实感的神经渲染方法及装置制造方法及图纸

技术编号:43413981 阅读:19 留言:0更新日期:2024-11-22 17:50
本发明专利技术公开了一种实现照片级真实感的神经渲染方法及装置,给定大量真实图片,通过内在属性分解方法预测其内在属性图片组,将内在属性图片组和其对应的真实图片分别作为训练的输入数据和目标数据,生成像素空间对齐的配对数据,并利用这些数据训练一个基于扩散模型的神经渲染网络,实现低质量3D合成模型在指定光照下的照片级真实感渲染。本发明专利技术对于任意的低质量3D合成模型,通过渲染其在某个光照、某个视角下的内在属性图片组,并将图片输入训练后的的神经渲染网络,即可实现渲染。本发明专利技术通过在生成的配对数据上训练的基于扩散模型的神经渲染网络,可以实现低质量3D合成模型的照片级真实感渲染。

【技术实现步骤摘要】

本专利技术属于渲染领域,尤其涉及到一种实现照片级真实感的神经渲染方法及装置


技术介绍

1、传统渲染管线已经能够实现近乎照片级真实感的渲染,但是这对合成模型的精细化程度有很高的要求,制作这样的合成模型往往需要很高的人力成本。为了解决这个问题,基于神经网络的渲染方法首先生成许多数据,然后训练一个可泛化的神经渲染网络。虽然一些神经网络渲染方法能够实现照片级真实感的渲染,但它们的数据来源于复杂的硬件拍摄设备,消费者往往难以接触这些设备。本专利技术致力于用一种创新的数据生成方式生成像素空间对齐的配对数据,然后用这些数据训练一个基于扩散模型的神经渲染网络,以实现照片级真实感渲染。


技术实现思路

1、本专利技术目的在于针对现有技术的不足,提出了一种实现照片级真实感的神经渲染方法及装置,基于内在属性分解方法生成像素空间对齐的配对数据,然后用这些数据训练一个基于扩散模型的神经渲染网络,以实现照片级真实感渲染。

2、本专利技术的目的是通过以下技术方案来实现的:第一方面,本专利技术提供了一种实现照片级真实感的神经渲染本文档来自技高网...

【技术保护点】

1.一种实现照片级真实感的神经渲染方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(1)中,真实图片通过内在属性分解得到反照率图片、漫反射光照图片和镜面反射图片。

3.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(1)中,以内在属性分解后的图片组作为输入数据,真实照片作为目标数据,形成像素空间对齐的配对数据。

4.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(2)中,所述基于扩散模型对内在属性图片进行渲染,包括:提取内在属性图片组的全局...

【技术特征摘要】

1.一种实现照片级真实感的神经渲染方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(1)中,真实图片通过内在属性分解得到反照率图片、漫反射光照图片和镜面反射图片。

3.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(1)中,以内在属性分解后的图片组作为输入数据,真实照片作为目标数据,形成像素空间对齐的配对数据。

4.根据权利要求1所述的一种实现照片级真实感的神经渲染方法,其特征在于,步骤(2)中,所述基于扩散模型对内在属性图片进行渲染,包括:提取内在属性图片组的全局和局部特征,将这些特征注入预训练的扩散模型作为引导,实现照片级真实感的渲染。

5.根据权利要求3所述的一种实现照片级真实感的神经渲染方法,其特征在于,提取全局特征为对内在属性图片组重新组合成近似真实图片...

【专利技术属性】
技术研发人员:周晓巍胡俊康彭思达
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1