本发明专利技术公开了一种基于运动分解的动态物体重建方法及装置，该方法包括：对包含目标物体运动过程的初始动态视频集合V逐帧进行分割，得到V中每帧图像的前景动态区域；使用多视角重建的方法，得到V中每帧图像的相机外参数与内参数；对V的每一帧，构造邻居集，并借助于预训练的光流方法对所述邻居集中所选的图片对进行光流估计，得到两帧之间的光流；根据V中每帧图像的前景动态区域、相机外参数与内参数，建立非刚性神经体渲染模型；根据所述非刚性神经体渲染模型和所述光流，结合时序的一致性约束，得到优化的非刚性神经体渲染模型；根据所述优化的非刚性神经体渲染模型，重建所述目标物体每一帧的完整几何和颜色。目标物体每一帧的完整几何和颜色。目标物体每一帧的完整几何和颜色。
【技术实现步骤摘要】
一种基于运动分解的动态物体重建方法及装置
[0001]本专利技术属于从2D的视频运动推断非刚性的结构以及神经体渲染领域，尤其涉及一种基于运动分解的动态物体重建方法及装置。
技术介绍
[0002]从单目动态视频重建非刚性的三维几何是计算机视觉中的重要问题，在动态物体重建，VR/AR等技术中有重要应用。单目动态视频重建是指从一系列相机姿态未知的连续帧图片，重建动态物体的几何并得到相机姿态。
[0003]传统的单目视频重建动态物体主要分为两种方法：一种是基于模板的曲面重建，一般会根据输入图片中的某一帧先得到一个模板模型，在此基础上对其他帧进行变形场的学习。这类方法一般适用于有先验模型的动态物体，比如人体，人脸等，而对于一般类型的动态物体，很难预先建立模板模型。另一种方法是不建立模板模型的非刚性重建(Non
‑
rigid structure from motion(NRSfM))，为了寻找多个图片之间的匹配关系，通常会通过提取稀疏的关键点进行匹配，或这通过光流匹配稠密的对应点进行跟踪重建。由于该问题是病态问题，为了让重建更加容易，一般会增加一些约束来更好的优化。一些方法采用点运动轨迹的约束，时序一致性的约束，局部刚性假设，形状先验等来约束变形，一些方法假设重建的形状空间是低秩的，通过降低解空间的维度求得最优解。然而，现有的方法仍然存在对于真实采集的数据(存在噪声、数据缺失、变形程度大等)不鲁棒的情况。
[0004]最近，基于神经网络的重建和渲染技术以其更高的重建精度、更真实自然的渲染质量以及相比传统方法更少的数据存储量而越来越受欢迎。一些现有的方法结合非刚性变形场和神经辐射场来建模非刚性场景，通过令对应视角渲染后的图片和输入的真实图片尽可能一致来优化变形场和神经辐射场。然而，这些方法依然存在重建的几何精度不高等问题。为了更好的将重建的几何与颜色信息结合起来，一些方法将形状空间设置为一个预测几何的模块和预测颜色的模块，通过预测的几何信息来估计透明度，并用体渲染的方式将二者结合起来。相比直接基于神经辐射场的方法，该方法可以重建更精确的几何。然而，该方法只适用于刚性物体或场景的建模。
技术实现思路
[0005]针对现有技术的不足，本申请实施例的目的是提供一种基于运动分解的动态物体重建方法及装置。
[0006]根据本申请实施例的第一方面，提供一种基于运动分解的动态物体重建方法，包括：
[0007](1)对包含目标物体运动过程的初始动态视频集合V逐帧进行分割，得到所述初始动态视频集合V中每帧图像的前景动态区域；
[0008](2)使用多视角重建的方法，得到所述初始动态视频集合V中每帧图像的相机外参数与内参数；
[0009](3)对所述初始动态视频集合V的每一帧，构造邻居集，并借助于预训练的光流方法对所述邻居集中所选的图片对进行光流估计，得到两帧之间的光流；
[0010](4)根据所述初始动态视频集合V中每帧图像的前景动态区域、相机外参数与内参数，建立非刚性神经体渲染模型；
[0011](5)根据所述非刚性神经体渲染模型和所述光流，结合时序的一致性约束，得到优化的非刚性神经体渲染模型；
[0012](6)根据所述优化的非刚性神经体渲染模型，重建所述目标物体每一帧的几何和颜色。
[0013]进一步地，所述非刚性神经体渲染模型包括标准空间的几何模块、标准空间的颜色模块和其他帧变到标准空间的变形场模块。
[0014]进一步地，所述标准空间的几何模块为：
[0015]x
→
σ：f
θ
(x)
[0016]其中，θ是标准空间的几何模型参数，该模型会将标准空间中的一个点，解码出标准空间几何的符号距离函数，σ为输出的标量属性，f
θ
(x)为建模x与σ之间的映射的含参隐式函数。
[0017]所述标准空间的颜色模块为：
[0018](p，v，c
appe
(t))
→
c：c
ψ
(p，v，c
appe
(I))
[0019]其中θ是标准空间的几何模型参数，该模型会将标准空间中的一个点，解码出标准空间几何的符号距离函数，ψ是标准帧的颜色模型参数，p是标准空间的位置，v是p点在标准空间的射线方向，c
appe
(I)对应I张图片的外观条件向量，c为颜色属性，c
ψ
为建模(p，v，c
appe
(t))的含参隐式函数，t表示第t帧。
[0020]所述其他帧变到标准空间的变形场模块为：
[0021](p(t)，c
def
(t))
→
p
′
(t)：D
η
(p(t)，c
def
(t))
[0022]其中，η是从将第t帧中的点变到标准空间的变形场的参数，p(t)表示t帧下的点的位置，p
’
(t)表示变形到标准帧的位置，c
def
(t)是对应t帧的变形条件向量。
[0023]进一步地，第t帧的所述非刚性神经体渲染模型为：
[0024][0025]其中，o是第t帧的相机中心，s
near
与s
far
是第t帧的相机对应的近远平面，ω(s)是沿着射线v再对应点p(s)在标准空间中变形后的点密度，v(u，t)表示的是对于t帧，像素u对应的视角方向，J对应的是该变形在p点对应的雅可比矩阵。
[0026][0027][0028]进一步地，所述非刚性神经体渲染模型通过其他帧变到标准空间的变形场模块和
标准空间的渲染模块C(o，v)得到，所述标准空间的渲染模块根据所述标准空间的几何模块和标准空间的颜色模块得到：
[0029][0030][0031]φ
γ
(x)＝γe
‑
γx
/(1+e
‑
γx
)
‑2[0032]其中，o是图片I对应的相机中心，v是像素u与相机中心连接的射线，s
near
与s
far
分别是图片I对应的相机的近远平面，其中ω(s)是沿着射线v再对应点p(s)处的密度，通过再该点的符号距离函数做变换得到，φ
γ
(x)为对密度函数作用的一种非线性激活函数，在这个函数的激活下，可以使得密度达到无偏的属性，γ是一个超参数，用于控制几何与渲染的稀疏性；
[0033]进一步地，在步骤(5)中，当模型的损失函数收敛时，模型优化完成，其中所述损失函数为：
[0034][0035]其中各项损失分别为：
[0036]表示渲染的颜色与当前帧图片的颜色一致的L
color
：
[0037][0038]关于几何的规则项，约束几何尽可能满足Eikonal方程的约束L
reg
：
[003本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于运动分解的动态物体重建方法，其特征在于，包括：(1)对包含目标物体运动过程的初始动态视频集合V逐帧进行分割，得到所述初始动态视频集合V中每帧图像的前景动态区域；(2)使用多视角重建的方法，得到所述初始动态视频集合V中每帧图像的相机外参数与内参数；(3)对所述初始动态视频集合V的每一帧，构造邻居集，并借助于预训练的光流方法对所述邻居集中所选的图片对进行光流估计，得到两帧之间的光流；(4)根据所述初始动态视频集合V中每帧图像的前景动态区域、相机外参数与内参数，建立非刚性神经体渲染模型；(5)根据所述非刚性神经体渲染模型和所述光流，结合时序的一致性约束，得到优化的非刚性神经体渲染模型；(6)根据所述优化的非刚性神经体渲染模型，重建所述目标物体每一帧的几何和颜色。2.根据权利要求1所述的方法，其特征在于，所述非刚性神经体渲染模型包括标准空间的几何模块、标准空间的颜色模块和其他帧变到标准空间的变形场模块。3.根据权利要求2所述的方法，其特征在于，所述标准空间的几何模块为：x
→
σ：f
θ
(x)其中，θ是标准空间的几何模型参数，该模型会将标准空间中的一个点，解码出标准空间几何的符号距离函数，σ为输出的标量属性，f
θ
(x)为建模x与σ之间的映射的含参隐式函数。所述标准空间的颜色模块为：(p，v，c
appe
(t))
→
c:c
ψ
(p，v，c
appe
(I))其中θ是标准空间的几何模型参数，该模型会将标准空间中的一个点，解码出标准空间几何的符号距离函数,ψ是标准帧的颜色模型参数，p是标准空间的位置，v是p点在标准空间的射线方向，c
appe
(I)对应I张图片的外观条件向量，c为颜色属性，c
ψ
为建模(p,v,c
appe
(t))的含参隐式函数，t表示第t帧。所述其他帧变到标准空间的变形场模块为：(p(t)，c
def
(t))
→
p
′
(t)：D
η
(p(t)，c
def
(t))其中，η是从将第t帧中的点变到标准空间的变形场的参数，p(t)表示t帧下的点的位置，p
’
(t)表示变形到标准帧的位置，c
def
(t)是对应t帧的变形条件向量。4.根据权利要求1所述的方法，其特征在于，第t帧的所述非刚性神经体渲染模型为：其中，o是第t帧的相机中心，s
near
与s
far
是第t帧的相机对应的近远平面，ω(s)是沿着射线v再对应点p(s)在标准空间中变形后的点密度，v(u,t)表示的是对于t帧,像素u对应的视角方向，J对应的是该变形在p点对应的雅可比矩阵。
5.根据权利要求2所述的方法，其特征在于，所述非刚性神经体渲染模型通过其他帧变到标准空间的变形场模块和标准空间的渲染模块C(o,v)得到，所述标准空间的渲染模块根据所述标准空间的几何模块和标准空间的颜色模块得到：...
【专利技术属性】
技术研发人员：鲍虎军，张举勇，邓治，李特，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。