一种基于动态表面反射场的人体重光照方法技术

技术编号:41183124 阅读:18 留言:0更新日期:2024-05-07 22:16
本发明专利技术公开了一种基于动态表面反射场的人体重光照方法,包括以下步骤:将4D空间利用多平面及哈希表示进行分解,对多视角动态人体视频编码得到紧凑的时空位置编码;得到光线采样点的符号距离函数值、几何特征及颜色值;得到对应像素的深度、法向、颜色及材质;建模直接光照、光线可见性及间接光照;同时约束渲染图像,学习模型参数,得到动态人体重光照视频。本发明专利技术通过设计高效的4D隐式表示对人体表面反射场进行建模,克服了基于模板的方法中固有的拟合误差大和较低的运动自由度的问题,实现准确的动态人体表面反射场的估计。光照建模中通过光线追踪引入可见性及间接光,精准地模拟了二次弹射的着色效果,实现更准确的材质解算和重光照效果。

【技术实现步骤摘要】

本专利技术涉及动态三维重建和逆渲染,尤其是一种基于动态表面反射场的人体重光照方法


技术介绍

1、动态人体重光照是一种基于计算机视觉及图形学的重要研究方向,其应用涵盖电影制作、视频游戏开发、虚拟现实等多个行业。其核心目标是操纵光影以实现动态人体与新照明环境的自然融合。

2、传统方法依赖于lightstage中的可控照明系统及先进的相机阵列来捕捉精确的人体反射率,然而昂贵的设备限制了它们的广泛应用。为了解决这些限制,现有方法提出在未知的恒定光照条件下显式优化动态人体几何形状和反射场。尽管如此,实现精细的动态重建和高质量的重光照效果仍然是显式表示的重大挑战。在隐式神经场景表示技术进展的推动下,实现逼真的自由视点渲染已成为可能,推动了神经逆渲染对静态物体重光照方法的探索。然而受制于静态辐射场的表示限制,它们很难扩展到动态场景。 为了模拟具有复杂运动的时变几何和反射场, 最近的方法将可变形人体模板 smpl 作为人体运动的显式引导模拟人体运动。但基于模板的建模中固有的拟合误差和运动自由度的限制阻碍了现有的流程,导致在涉及宽松衣物和人物交互等更具挑战性的本文档来自技高网...

【技术保护点】

1.一种基于动态表面反射场的人体重光照方法,其特征是,包括以下步骤:

2.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述S1具体为: 将4D空间分解为一个紧凑的多平面特征编码器以及一个时间感知的哈希编码器;建模时,从相机中心点向成像平面发射光线,对4D空间中的每条光线进行采样,对于每个光线采样点使用多平面特征编码器以及哈希编码器进行时空位置编码。

3.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述S2具体为:将光线采样点的时空位置编码输入多层感知机,通过渲染损失拟合得到对应光线采样点的符号距离函数值及几何特征。<...

【技术特征摘要】

1.一种基于动态表面反射场的人体重光照方法,其特征是,包括以下步骤:

2.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述s1具体为: 将4d空间分解为一个紧凑的多平面特征编码器以及一个时间感知的哈希编码器;建模时,从相机中心点向成像平面发射光线,对4d空间中的每条光线进行采样,对于每个光线采样点使用多平面特征编码器以及哈希编码器进行时空位置编码。

3.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述s2具体为:将光线采样点的时空位置编码输入多层感知机,通过渲染损失拟合得到对应光线采样点的符号距离函数值及几何特征。

4.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述s3具体为:将光线采样点的时空位置编码与几何特征进行拼接,输入多层感知机,通过渲染损失拟合得到对应光线采样点的颜色值。

5.如权利要求1所述的一种基于动态表面反射场的人体重光照方法,其特征是,所述s4具体为:使用体渲染技术,对每条光线上的采样点的密度、法向、颜色以及材质进行积分,得到动态人体的深度图、法...

【专利技术属性】
技术研发人员:张盛平孙艺朋靖柳青林孟权令吕晓倩王晨阳
申请(专利权)人:哈尔滨工业大学威海
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1