基于可微渲染的振动液滴三维重建方法及装置制造方法及图纸

本发明专利技术提供一种基于可微渲染的振动液滴三维重建方法及装置，该方法包括：根据输入的相机参数建立可微的渲染模型；将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。该方法考虑到了液滴特征点不明显和振动快速的特点，用可微渲染结合物理模型描述，能够使液滴的三维模型在多个视角下和拍摄图像一致，达到了较快的重建速度和准确的重建精度。

【技术实现步骤摘要】
基于可微渲染的振动液滴三维重建方法及装置
本专利技术涉及计算机图形
，尤其涉及一种基于可微渲染的振动液滴三维重建方法及装置。
技术介绍
传统的针对物体的三维重建技术主要依赖多视角几何原理基于视差进行计算。运动恢复结构方法(StructurefromMotion)主要利用多个相机得到的图像进行三维的恢复，首先提取多视角图像的特征点并进行匹配，根据几何原理恢复出不同视角间的空间对应关系，先重建相机参数，再将不同图像的统一特征点结合起来计算目标物体的点云信息。这种方法对于动态物体的鲁棒性低，对于液滴这样纹理少、特征点不明确的物体效果差，并且需要消耗大量的时间，实时性较差，且只能恢复出目标物体的点云，如果需要三角网格表示，需要后处理过程。
技术实现思路
针对现有技术存在的无法有效实现实时的重建特征点少的高速振动液滴这一问题，本专利技术提供一种基于可微渲染的振动液滴三维重建方法及装置。本专利技术提供一种基于可微渲染的振动液滴三维重建方法，包括：根据输入的相机参数建立可微的渲染模型；将输入的多视角液滴振动视频转换为本文档来自技高网...

【技术保护点】
1.一种基于可微渲染的振动液滴三维重建方法，其特征在于，包括：/n根据输入的相机参数建立可微的渲染模型；/n将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；/n初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；/n计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。/n

【技术特征摘要】
1.一种基于可微渲染的振动液滴三维重建方法，其特征在于，包括：
根据输入的相机参数建立可微的渲染模型；
将输入的多视角液滴振动视频转换为同一时刻的多视角图像，对所述多视角图像做边缘提取；
初始化液滴的三维模型，通过可微渲染模型得到对应的渲染图像；
计算所述渲染图像和所述多视角图像间的损失函数值，反向传播到液滴的三维模型参数中，进行模型参数更新。


2.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述进行模型参数更新之后，还包括：
重复以上一帧更新的三维模型参数作为初始模型，通过可微渲染模型得到对应渲染图像，计算渲染图像和当前帧多视角图像间的损失函数值，以及进行模型参数更新的过程，直至满足预设条件。


3.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述根据输入的相机参数建立可微的渲染模型，包括：
用软光栅化渲染器建立渲染模型，用像素位置的概率分布替代实体三角面片，使用距离相关的聚合函数替代三角面片的前后遮挡关系。


4.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述初始化液滴的三维模型，包括：
构造单位球面的三角网格模型，计算各个顶点振动模态的位移总和，径向移动三角网格的顶点，生成液滴的三角网格模型。


5.根据权利要求1所述的基于可微渲染的振动液滴三维重建方法，其特征在于，所述损失函数包括：



其中，Is,分别为拍摄图像和渲染图像的掩膜。

【专利技术属性】
技术研发人员：张松海，何煜，陈晓松，刘应天，胡事民，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11