一种语义感知多视角三维人体重建方法技术

本发明专利技术公开了一种语义感知多视角三维人体重建方法

【技术实现步骤摘要】
一种语义感知多视角三维人体重建方法、装置及介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种语义感知多视角三维人体重建方法
、
装置及介质
。

技术介绍

[0002]在电影
、
游戏和时尚领域，数字化角色的制作已成为核心环节
。
这一复杂流程涵盖了从塑造角色形态
、
设计纹理等多个步骤
。
每一环节都需要大量的研发时间以及高端的设备支持，通常只有大型公司才能胜任这样的项目
。
随着大规模预训练模型和人体表示方法的发展，这种复杂的工作变得简单化，能仅仅基于文本生成逼真的
3D
虚拟形象
。
但是现有的技术依然存在以下问题：（1）由于文本内容一般不包括对空间位置的描述，重建过程缺乏显式的空间语义感知
。
[0003]（2）基于图像的扩散模型没有充分考虑视角和图像之间的对应关系，应用在三维重建中很容易造成视角不连贯
。
[0004]（3）现有的方法对神经隐式表达做体积渲染时，随机采样连续坐标可能导致两条光线上的采样点在交汇处不重合，可能导致重建的不确定性
。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种语义感知多视角三维人体重建方法
、
装置及介质
。
[0006]本专利技术所采用的技术方案是：一种语义感知多视角三维人体重建方法，包括以下步骤：采集人体多视角图像数据集；同时学习人物图像和语义类别的数据分布，将人物图像和语义类别定义为高斯变量和类别变量的连续
‑
离散联合分布，即高斯
‑
类别联合分布，把它们看作是条件分布和概率分布的乘积；通过马尔可夫性质和贝叶斯理论，构建并训练一个文本引导的高斯
‑
类别扩散生成模型，生成语义感知的人物图像；通过获得的多视角图像数据集，训练一个基于单幅人物图像和相机相对参数的合成新视角图像的扩散模型；构建一个仰角估计模块，通过再投影误差估计输入图像的仰角；根据估计的仰角，将人物图像输入到合成新视角图像的扩散模型，生成多视角人物图像；引入量化坐标从多视图图像中学习神经隐式函数，重建三维人体
。
[0007]进一步地，所述采集人体多视角图像数据集，包括：使用公开的人体网格数据集，对每一个人体网格对象，固定住相机位姿的俯仰角，
通过改变方位角选择不同的视角对人体网格做渲染，保存渲染图像和视角信息
。
[0008]进一步地，所述高斯
‑
类别联合分布的具体定义如下：
[0009]其中，是高斯变量，是类别变量，分别是一个来自的实数向量和一个来自的整数向量，分别是高斯分布的均值和方差，是类别分布的概率质量函数，是的可能状态，是的状态的总数量；表示
N
维的实数空间，表示
M
维的实数空间，表示由
S
行和
N
列组成的矩阵空间，表示一个三维张量空间，表示由
M
行和
K
列组成的矩阵空间；
[0010]联合分布被写成是条件分布和概率分布的乘积：
[0011]对于每一个离散查询，将概率密度函数表示为高斯分布的加权，联合分布写成：
[0012][0013]其中，是的概率，和代表着状态的均值和方差；表示由
N
行和
N
列组成的矩阵空间，表示实数空间中的维，表示实数空间中的维，表示转置
。
[0014]进一步地，所述通过马尔可夫性质和贝叶斯理论，构建并训练一个文本引导的高斯
‑
类别扩散生成模型，生成语义感知的人物图像，包括：在高斯
‑
类别扩散生成模型的前向过程中，高斯噪声遵循正态分布，类别噪声遵循；当使用足够大的时间和选择合适的噪声调度时，这个过程最终会收敛到一个各向同性的高斯分布和一个均匀的类别分布；在反向过程中，定义马尔可夫链中的转移概率：
[0015][0016]其中，代表，是最终状态；是状态的均值，是状态的方差，是状态的概率；基于马尔可夫链性质定义前向扩散过程：
[0017][0018][0019]其中，
、
分别是预定义的噪声调度；是所有状态下的，是与之前时刻的值有关的均值，是所有状态下的，是与之前时刻的
值有关的方差；是单位矩阵；是状态的总数量，表示
t
‑1时刻下的均值，表示与之前时刻的值有关的概率，表示可能状态对应的类别；
[0020]令，定义前向过程中的任意一个时刻为：
[0021][0022][0023]根据贝叶斯理论，后验概率表示为：
[0024][0025][0026]其中，是一个正则常量，代表点乘算法；是
t=0
时刻的，，表示
s
时刻下的，是分布下的，是分布下的，是分布下的，是分布下的；
[0027]参数和的后验概率是通过和来表达，因此还表示为：
[0028][0029][0030]通过
KL
散度来优化，表示为：
[0031][0032]其中，是一个常量；表示
t
时刻的状态，表示高斯分布的标准差；
[0033]通过建模高斯
‑
类别的联合分布，在生成过程中结合语义感知信息，生成语义区域更加精准的人物图像
。
[0034]进一步地，所述通过获得的多视角图像数据集，训练一个基于单幅人物图像和相机相对参数的合成新视角图像的扩散模型，包括：设训练配对图像为，给定一张人物图像，为基于相机相对旋转和相对平移得到的图像；
[0035]通过微调预设的预训练扩散模型
Stable Diffusion
模型来学习控制相机视角和生成图像的对应关系，微调的目标函数为：
[0036]其中，是
Stable Diffusion
模型中的编码器，是
U
‑
Net
结构的去噪模型，是输入图像和相对相机参数得到的嵌入向量；表示正态分布，表示生成的噪声真值，表示时间向量，表示输入图像
。
[0037]进一步地，所述构建一个仰角估计模块，通过再投影误差估计输入图像的仰角，包括：采用球形相机来表示相机位置和相对变换，球形相机通过球坐标系中的三个参数来描述一个点：仰角
、
方位角和半径；假设物体的中心就是坐标系原点，将仰角
、
方位角和半径分别表示为，和，点表示为
[,,]，采样仰角，方位角，半径；
[0038]设置一个输入的相对视角
V1
为
[,0,1.5]，以的间隔视角为得到其它三个相对视角，分别为
V2[]、V3[,0,1.5]和
V4[]；以为间隔列举出的所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种语义感知多视角三维人体重建方法，其特征在于，包括以下步骤：采集人体多视角图像数据集；学习人物图像和语义类别的数据分布，将人物图像和语义类别定义为高斯变量和类别变量的连续
‑
离散联合分布，即高斯
‑
类别联合分布；通过马尔可夫性质和贝叶斯理论，构建并训练一个文本引导的高斯
‑
类别扩散生成模型，生成语义感知的人物图像；通过获得的多视角图像数据集，训练一个基于单幅人物图像和相机相对参数的合成新视角图像的扩散模型；构建一个仰角估计模块，通过再投影误差估计输入图像的仰角；根据估计的仰角，将人物图像输入到合成新视角图像的扩散模型，生成多视角人物图像；引入量化坐标从多视图图像中学习神经隐式函数，重建三维人体
。2.
根据权利要求1所述的一种语义感知多视角三维人体重建方法，其特征在于，所述采集人体多视角图像数据集，包括：使用预设的人体网格数据集，对每一个人体网格对象，固定住相机位姿的俯仰角，通过改变方位角选择不同的视角对人体网格做渲染，保存渲染图像和视角信息
。3.
根据权利要求1所述的一种语义感知多视角三维人体重建方法，其特征在于，所述高斯
‑
类别联合分布的具体定义如下：；其中，是高斯变量，是类别变量，分别是一个来自的实数向量和一个来自的整数向量，分别是高斯分布的均值和方差，是类别分布的概率质量函数，是的可能状态；表示
N
维的实数空间，表示
M
维的实数空间，表示由
S
行和
N
列组成的矩阵空间，表示一个三维张量空间，表示由
M
行和
K
列组成的矩阵空间；联合分布被写成是条件分布和概率分布的乘积：；对于每一个离散查询，将概率密度函数表示为高斯分布的加权，联合分布写成：；其中，是的概率，和代表着状态的均值和方差；表示由
N
行和
N
列组成的矩阵空间，表示实数空间中的维，表示实数空间中的维，表示转置
。4.
根据权利要求3所述的一种语义感知多视角三维人体重建方法，其特征在于，所述通过马尔可夫性质和贝叶斯理论，构建并训练一个文本引导的高斯
‑
类别扩散生成模型，生成
语义感知的人物图像，包括：在高斯
‑
类别扩散生成模型的前向过程中，高斯噪声遵循正态分布，类别噪声遵循；在反向过程中，定义马尔可夫链中的转移概率：；其中，代表，是最终状态；是状态的均值，是状态的方差，是状态的概率；基于马尔可夫链性质定义前向扩散过程：；；其中，
、
分别是预定义的噪声调度；是所有状态下的，是与之前时刻的值有关的均值，是所有状态下的，是与之前时刻的值有关的方差；是单位矩阵；是状态的总数量，表示
t
‑1时刻下的均值，表示与之前时刻的值有关的概率，表示可能状态对应的类别；定义前向过程中的任意一个时刻为：；；根据贝叶斯理论，后验概率表示为：；；其中，是一个正则常量，代表点乘算法；是
t=0
时刻的，，表示
s
时刻下的，是分布下的，是分布下的，是分布下的，是分布下的；参数和的后验概率是通过和来表达，因此还表示为：；；通过
KL
散度来优化，表示为：；
其中，是一个常量；表示
t
时刻的状态，表示高斯分布的标准差；通过建模高斯
‑
类别的联合分布，在生成过程中结合语义感知信息，生成语义区域更加精准的人物图像
。5.
根据权利要求1所述的一种语义感知多视角三维人体重建方法，其特征在于，所述通过获得的多视角图像数据集，训练一个基于单幅人物图像和相机相对参数...

【专利技术属性】
技术研发人员：胡灏，李利，岑俊华，张木树，杨正文，吴庆耀，钟晓静，杜卿，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：