一种大场景稀疏光场十亿像素级智能重建方法及装置制造方法及图纸

本发明专利技术公开了一种大场景稀疏光场十亿像素级智能重建方法及装置，该方法包括：基于多视角三维重建系统得到粗糙三维几何模型；在粗糙三维几何模型上构建形变元隐式表征；对形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。本发明专利技术在光场理解中采用了基于元形变的隐式表征，在稀疏的视角观测下，充分利用十亿像素级感知分辨率，通过元表面的特征映射与隐式光照建模，优化场景的精细几何结构与材质属性，实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。辨率的大场景稀疏光场重建与渲染。辨率的大场景稀疏光场重建与渲染。

【技术实现步骤摘要】
一种大场景稀疏光场十亿像素级智能重建方法及装置


[0001]本专利技术涉及三维重建与智能理解/人工智能
，特别是涉及一种大场景稀疏光场十亿像素级智能重建方法及装置。

技术介绍

[0002]大场景稀疏光场的十亿像素级重建与渲染是人工智能、机器视觉、无人系统等领域的核心技术难题，其指的是：从十亿像素级超高分辨率的稀疏视角观测中提取出场景的几何结构、表面属性与全局光照信息，并在此基础上实现十亿像素级大场景光场重建与自由视点渲染。
[0003]目前，大场景光场的感知与重建之间存在显著的差距。借助最先进的计算成像技术已能够实现对于大场景光场的十亿像素级超高分辨率感知，而现有的重建算法却受制于表征的可扩展性，难以实现超高分辨率的大场景光场重建与渲染。在真实室外大场景中，人们对于光场的十亿像素级高分辨感知往往是稀疏的，较低的视角分辨率导致重建与渲染的精度大幅降低，在此情形下，十亿像素级的超高感知分辨率为重建算法提供了新的机遇与挑战。
[0004]大场景光场渲染是计算机视觉中广泛研究的基本问题。根据对场景表示方式的不同，可以将大场景光场渲本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大场景稀疏光场十亿像素级智能重建方法，其特征在于，包括以下步骤：基于多视角三维重建系统得到粗糙三维几何模型；在所述粗糙三维几何模型上构建形变元隐式表征；对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。2.根据权利要求1所述的方法，其特征在于，所述基于多视角三维重建系统得到粗糙三维几何模型，包括：利用多视角三维重建系统获取三维点云；根据所述三维点云和泊松表面重建方法得到粗糙三维表面模型；以及，使用曲面参数化方法将所述粗糙三维表面模型进行局部共形的参数化，得到若干个局部面片的二维参数网格以得到所述粗糙三维几何模型。3.根据权利要求2所述的方法，其特征在于，所述在所述粗糙三维几何模型上构建形变元隐式表征，包括：将所述局部面片的二维参数网格归一化为矩形，并将矩形采样点在所述二维参数网格上经过插值得到的特征向量输入元形变网络，输出得到矩形采样点在高维特征空间的形变量；将基于所述形变量得到的高维特征向量输入特征映射网络，输出得到矩形采样点的法向量、漫反射颜色值、非朗伯材质属性以及几何特征向量；将矩形采样点的观测角度值、所述矩形采样点的法向量、所述非朗伯材质属性以及所述几何特征向量输入神经渲染器，输出得到当前观测方向上的高光颜色值，根据所述高光颜色值和所述漫反射颜色值得到矩形采样点的颜色预测结果。4.根据权利要求3所述的方法，其特征在于，所述对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果，包括：构建多层感知机网络模型；将所述矩形采样点的坐标、插值得到的特征向量、观测角度值输入所述多层感知机网络模型，输出得到矩形采样点的色彩RGB值。5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：获取所述大场景光场的稀疏视角图像；随机选取多视角的所述稀疏视角图像上的多个像素进行反投影，每个像素发出一条射线，计算各像素射线穿过的粗糙三维表面上的点，并计算各点渲...

【专利技术属性】
技术研发人员：方璐，王光宇，张晋之，
申请(专利权)人：清华大学，
类型：发明
国别省市：