基于神经网络的动态人体自由视点视频的生成方法和装置制造方法及图纸

本申请提出一种基于神经网络的动态人体自由视点视频的生成方法和装置，涉及计算机视觉与计算机图形学技术领域，其中，方法包括：重建单个人体的预扫描模型；通过多个RGB相机对所述单个人体拍摄，获取RGB图像序列；对预扫描模型使进行变形，使得变形后的预扫描模型与每帧RGB图像匹配；对预扫描模型采样，并在每一个采样点处定义一个隐码，并基于神经网络联合优化隐码与网络参数；获取任意渲染视角，基于任意渲染视角生成自由视点视频。由此，基于多个RGB相机捕获RGB图像序列，并根据此序列生成时域连续、动态的自由视点视频，生成更真实、动态的渲染结果。的渲染结果。的渲染结果。

【技术实现步骤摘要】
基于神经网络的动态人体自由视点视频的生成方法和装置


[0001]本申请涉及计算机视觉与计算机图形学
，尤其涉及一种基于神经网络的动态人体自由视点视频的生成方法和装置。

技术介绍

[0002]动态人体自由视点视频生成是计算机图形学和计算机视觉领域的重点问题。高质量的人体自由视点视频在影视娱乐、人体数字化等领域有着广泛的应用前景和重要的应用价值。但是高质量、高拟真度的人体自由视点视频获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统对人体建模来实现，虽然效果较为真实，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间，而重建序列便更慢。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本申请的第一个目的在于提出一种基于神经网络的动态人体自由视点视频的生成方法，仅需要多个RGB相机，方便快速的生成动态、真实的人体自由视点视频，可以为用户提供良好的交互式三维重建体验。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的动态人体自由视点视频的生成方法，其特征在于，包括:重建单个人体的预扫描模型；通过多个RGB相机对所述单个人体拍摄，获取RGB图像序列；对所述预扫描模型使进行变形，使得变形后的所述预扫描模型与每帧RGB图像匹配；对所述预扫描模型采样，并在每一个采样点处定义一个隐码，并基于神经网络联合优化隐码与网络参数；获取任意渲染视角，基于所述任意渲染视角生成自由视点视频。2.如权利要求1所述的方法，其特征在于，所述重建单个人体的预扫描模型，包括：使用多相机系统或扫描仪重建出所述单个人体的预扫描模型。3.如权利要求1所述的方法，其特征在于，所述对所述预扫描模型使进行变形，使得变形后的所述预扫描模型与每帧RGB图像匹配，包括：基于所述预扫描模型对所述每帧RGB图像进行运动跟踪，获取所述每帧RGB图像对应的同拓扑模型：建立能量函数(1)，通过最优化求解出所述预扫描模型的非刚性变形参数；E＝E
color
+E
silhouette
+λ
smooth
E
smooth
ꢀꢀꢀꢀ
(1)其中，是颜色项，其中，M是所述预扫描模型的顶点集合，v是其中一个顶点，是经过非刚性变形后的顶点位置，c
v
是顶点颜色，π(
·
)表示投影函数，ColorImg(
·
)代表在彩色图像上采样获得相应的RGB值；是轮廓项，其中，Boundary(M)表示M中靠近图像轮廓的顶点集合，DtImg是对输入轮廓做距离变换得到的图像；E
smooth
为正则项；获取所有帧RGB图像下同拓扑的所述预扫描模型。4.如权利要求3所述的方法，其特征在于，所述对所述预扫描模型采样，并在每一个采样点处定义一个隐码，并基于神经网络联合优化隐码与网络参数，包括：对所述预扫描模型进行采样，获取系列采样点对于每个采样点定义一个隐码定义f
d
(
·
)和f
c
(
·
)为设计好的神经网络，对于所述每帧RGB图像的所有空间点，对于任意空间点体密度公式为:σ＝f
d
(z)；颜色公式为:c＝f
c
(z,x,d)；其中，z表示x所在位置的隐码，由插值得到，表示渲染视角；输入多相机采集视角，通过体渲染获取渲染图像与真实采集图像构建误差函数基于公式(2)联合训练隐码与网络参数。5.如权利要求1所述的方法，其特征在于，所述基于所述任意渲染视角生成自由视点视频，包括：获取所述任意渲染视角对应的输入网络参数；基于所述...

【专利技术属性】
技术研发人员：刘烨斌，李哲，于涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：