【技术实现步骤摘要】
非可控光照条件下的立体重建方法及装置
[0001]本申请涉及计算机视觉
，特别涉及一种非可控光照条件下的立体重建方法及装置。
技术介绍
[0002]立体重建和光照恢复技术广泛应用于许多领域，基于光度立体视觉技术的三维重建是从不同光源方向光照下得到对象的多幅图像,根据亮度特征计算出对象的法向量和深度值的三维重建技术。图像的亮度值与光源光照信息、表面法向量朝向、以及物体材质等因素有关系，例如：材质的次表面散射渲染。
[0003]相关技术中基于严格光照条件输入的立体重建和光照恢复方法，然而，由于对材质进行建模时缺乏准确性和鲁棒性，难以在实际场景中使用，亟需改善。
[0004]申请内容
[0005]本申请提供一种非可控光照条件下的立体重建方法及装置，以解决相关技术中对输入数据光照和环境条件的要求较高，输入数据的条件对最终输出结果精度和稳定性影响较大等技术问题。
[0006]本申请第一方面实施例提供一种非可控光照条件下的立体重建方法，包括以下步骤：获取多个单方向光照的视图，生成视图数据；对所述视图...
【技术保护点】
【技术特征摘要】
1.一种非可控光照条件下的立体重建方法，其特征在于，包括以下步骤：获取多个单方向光照的视图，生成视图数据；对所述视图数据进行分割，分离出所述视图中的物体和背景，获得所述物体在当前视角下的背景分割掩膜；将所述多个视图与所述背景分割掩膜进行叠加相乘，得到背景分割之后的视图；对所述背景分割之后的视图按照预设光照方向的顺序进行叠加，得到多通道视图数据；对所述多通道视图数据按照预设的编码器中的卷积模块进行多尺度的特征提取，得到预设维度的编码特征图；以及基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，并生成最终渲染结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述编码特征图进行多尺度特征的恢复，得到不同方向光照下的物体效果图，包括：将所述编码特征图以及编码器中的过程特征合并，并输入不同的预设的解码器中的上采样和卷积模块中进行多尺度特征的恢复，得到几何特征图，其中，所述几何特征图包括法向量图、正面深度图、厚度分布图与表面颜色分布图中的至少一个；对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图。3.根据权利要求2所述的方法，其特征在于，所述对所述几何特征图进行计算和渲染，获得所述不同方向光照下的物体效果图，包括：输入目标渲染的光照方向，通过预设的正面光计算模型与法向量进行计算，获得正面光照强度；输入所述目标渲染的光照方向以及相机的观测方向，通过预设的背光计算模型与所述法向量进行计算，获得背面透光强度；输入物体正面深度分布图和厚度分布图，通过预设的背光衰减计算模型计算背光经过物体的衰减系数分布图；将所述衰减系数分布图和所述背面透光强度分布进行相乘，获得背光在物体内部衰减之后的表面背光强度；将衰减之后的表面背光强度与所述正面光照强度进行叠加，获得最终物体在所述光照方向下的表面光照强度；按照预设的模型将所述表面光照强度与物体表面的纹理颜色分布图进行叠加，获得所述物体最终在所述光照方向下的渲染效果图。4.根据权利要求3所述的方法，其特征在于，所述生成最终渲染结果，包括：将所述渲染效果图与所述多个视图分别输入不同的编码器，得到渲染效果编码特征；使用解码器对所述渲染效果编码特征以及输入视图编码特征进行残差计算，获得最终残差编解码后的渲染结果。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述最终渲染结果的表达式为：I
render
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。