基于多RGBD相机的实时人体全息重建方法以及装置制造方法及图纸

本申请提出一种基于多RGBD相机的实时人体全息重建方法、装置和计算机设备。具体实现方案为：预训练基于像素对齐特征的三维重建神经网络，采集多视点场景彩色深度图像，提取多视点彩色深度图像前景，提取多视点彩色深度图像的特征图像，对重建空间进行均匀采样并计算投影符号距离函数值并进行有效采样点筛选，计算采样点的多视点图像特征，并进行多视点特征融合，使用符号距离回归网络推理符号距离函数，从采样点中提取三维模型表面，使用颜色回归网络推理模型顶点颜色，完成全息重建。本申请可以提高全息重建速度，提升网络泛化性能，还可以进一步提升全息重建的质量和精确。还可以进一步提升全息重建的质量和精确。还可以进一步提升全息重建的质量和精确。

【技术实现步骤摘要】
基于多RGBD相机的实时人体全息重建方法以及装置


[0001]本申请涉及计算机视觉中的三维视觉和人工智能领域，尤其涉及一种基于多RGBD相机的实时人体全息重建方法、装置和计算机设备。

技术介绍

[0002]全息通讯和全息直播是面向未来的革命性通讯和直播形式，其核心技术包括全息人体重建、全息数据压缩、全息数据传输、全息内容显示。全息人体重建是全息通讯和全息直播的基石。传统全息重建(三维)大多基于稠密视点采集，需要搭建复杂的多相机同步采集系统，造价昂贵，维护困难。深度相机的出现使三维信息的获取变得更加便捷，然而稀疏视点的深度采集系统仍然存在观测局限，无法生成完整的全息三维模型。
[0003]近年来，随着深度学习技术和计算机视觉技术的融合与发展，出现了基于深度神经网络的三维重建方法，如PIFu(Pixel
‑
aligned Implicit Function for High
‑
Resolution Clothed Human Digitization，基于像素对齐隐式函数的高分辨率人体数字化方法)等，它们本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多RGBD相机的实时人体全息重建方法，其特征在于，包括：根据人体扫描数据集渲染多视点训练数据，根据所述多视点训练数据预训练基于像素对齐特征的三维重建神经网络，其中，所述三维重建神经网络包括RGBD图像特征提取神经网络、符号距离函数回归神经网络和颜色回归网络；获取采集到的多视点场景彩色深度图像，并提取所述多视点场景彩色深度图像之中的多视点彩色深度图像前景；根据所述RGBD图像特征提取神经网络对所述多视点彩色深度图像进行特征提取，获得所述多视点彩色深度图像的特征图像；对重建空间进行均匀采样并计算投影符号距离函数值，并根据所述投影符号距离函数值进行有效采样点筛选；计算采样点的多视点图像特征，并进行多视点特征融合；将融合后得到的多视点特征图像输入至所述符号距离函数回归神经网络，获得所有有效采样点的符号距离函数值；从所述采样点中提取出完整三维模型表面，并根据所述颜色回归网络对所述完整三维模型表面进行模型顶点颜色推理，完成全息重建。2.根据权利要求1所述的方法，其特征在于，所述进行多视点特征融合包括：通过Transformer网络作为特征融合模块对所述采样点的多视点图像特征进行多视点特征融合。3.根据权利要求1所述的方法，其特征在于，通过以下公式计算所述投影符号距离函数值：truncated
psdf
＝clip(v
z
‑
d，
‑
τ，τ)其中，truncated
psdf
为所述投影符号距离函数值，v
z
为采样点在Z轴上的深度值，d为深度相机的深度观测值，clip()为截断函数，用于将输入值v
z
‑
d截断至[
‑
τ，τ]的范围内。4.根据权利要求1所述的方法，其特征在于，所述根据所述投影符号距离函数值进行有效采样点筛选，包括：根据采样点在不同视点的投影符号距离函数值计算所述采样点的可见性指标；根据所述采样点的可见性指标进行筛选，获得所有有效采样点。5.根据权利要求4所述的方法，其特征在于，通过以下公式计算所述采样点的可见性指标：V(p)＝∑
i∈{0，...，N}
ψ(truncated
psdf
，δ)其中，V(p)为所述采样点可见性指标，i为视点索引值，M为视点总数，ψ(truncated
psdf
，δ)为单视点可见性判断函数，δ为可见性判断阈值，truncated
psdf
为所述投影符号距离函数值；其中，ψ(truncated
psdf
，δ)＝1 if truncated
psdf
＞
‑
δ，ψ(truncated
psdf
，δ)＝0 if truncated
psdf
≤
‑
δ。6.一种基于多RGBD相机的实时人体全息重建装置，其特征在于，包括：预训练模块，用...

【专利技术属性】
技术研发人员：刘烨斌，于涛，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：