当前位置: 首页 > 专利查询>中山大学专利>正文

一种基于三维高斯喷溅的虚拟人任意视角渲染方法与系统技术方案

技术编号:42953148 阅读:19 留言:0更新日期:2024-10-11 16:09
本发明专利技术公开了一种基于三维高斯喷溅的虚拟人任意视角渲染方法与系统。对多个视角下的人体图片拟合出对应的SMPL模型;对SMPL模型进行采样,得到虚拟人点云;对点云中每个点,初始化三维高斯;将三维高斯投影到二维平面上,形成二维高斯;对二维高斯进行光栅化,渲染出图像;利用渲染图像与真实人体图片的相似程度构造损失函数,对三维高斯进行自适应密度控制,最后形成训练后的三维高斯;用户输入指定的任意新视角,利用训练后的三维高斯渲染出新视角下的图像。本发明专利技术利用图像拟合SMPL模型并采样得到人体三维点云,取代了SfM点云估计技术,成本低效率高。基于SMPL模型的网络拓扑对三维高斯进行克隆与分裂,保证了高斯的数量和分布尽可能拟合人体。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、计算机图形学领域,具体涉及一种基于三维高斯喷溅的虚拟人任意视角渲染方法与系统


技术介绍

1、近年来,随着计算机技术的不断发展,虚拟数字人逐渐走入大众的视线,并在很多领域都有广泛应用。例如,在电影和游戏产业中,创作者创建逼真的虚拟人物角色,提供更加真实的视觉效果和互动体验,而在教育和培训场景中,虚拟数字人可以用于模拟实际场景,帮助学生和专业人员进行实践操作和培训。

2、人体图像渲染技术是一种利用计算机图形学和计算机视觉技术,对人体进行建模、光照、纹理等处理,以生成逼真的人体图像的过程。而任意视角图像渲染则是根据已有的视频或图像信息,渲染出任意指定视角下的人体图像。如何根据已有的信息,推断出不可见部分的信息,从而渲染出新视角下的高质量图像,是该领域的一大难点。

3、近年来,随着深度学习的不断发展,产生了不同的三维人体表征方法以及新视角下的渲染模型。但是这些方法往往存在着对存储条件要求过高或者计算时间过长等问题,无法应用到实际的移动应用当中。

4、目前的现有技术之一为论文“the relightab本文档来自技高网...

【技术保护点】

1.一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,对所述每个视角下的所述SMPL模型进行采样,得到虚拟人点云数据,具体为:

3.如权利要求1所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,对所述虚拟人点云数据中的每个点,构建并初始化一个可学习的三维高斯,形成三维高斯集合,具体为:

4.如权利要求3所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,根据所述多视角人体图片的相机的位置,将所述三维高斯集合投影到二维平面上,...

【技术特征摘要】

1.一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,对所述每个视角下的所述smpl模型进行采样,得到虚拟人点云数据,具体为:

3.如权利要求1所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,对所述虚拟人点云数据中的每个点,构建并初始化一个可学习的三维高斯,形成三维高斯集合,具体为:

4.如权利要求3所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,根据所述多视角人体图片的相机的位置,将所述三维高斯集合投影到二维平面上,形成二维高斯集合,具体为:

5.如权利要求4所述的一种基于三维高斯喷溅的虚拟人任意视角渲染方法,其特征在于,对所述二维高斯集合进行光栅化,渲染出虚拟人图像,具体为:

6.如权利要求5所述的一...

【专利技术属性】
技术研发人员:苏卓郑泽丹周凡赵宝全
申请(专利权)人:中山大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1