【技术实现步骤摘要】
基于遮挡信息多尺度感知的三维重建方法及装置
本专利技术涉及可同时运用于密集与稀疏视点下的多视角三维重建
，特别涉及一种基于遮挡信息多尺度感知的三维重建方法及装置。
技术介绍
MVS(MultipleViewStereo，多视图立体视觉)旨在从具有已知相机参数的2D图像集中恢复密集的3D模型。随着观测变得稀疏，成像场景的更多3D信息会在记录过程中丢失，从而使之后的算法处理(例如MVS任务)更具挑战性。实际上，稀疏采样对实用性和工业化更为有利，然而目前更多的算法集中在处理在密集采样下的任务，即来自相邻视图的投影射线之间的角度相对较小(大约10度)。尽管目前已经有各种各样的方法来处理稀疏视图情况，但是它们倾向于恢复具有较差泛化能力的特定类型的对象或场景。例如，一些算法通过语义表征或物体形状先验来改善深度图生成。另一类被称为深度图融合的算法，尝试估计每个摄像机视图的深度图并将其融合为3D模型。然而对于稀疏的MVS问题，由于较大的视角角度使这类匹配算法的模型不完整。这是因为较大的视角差显着歪曲了匹配的色块信息并且使光一致性检查变...
【技术保护点】
1.一种基于遮挡信息多尺度感知的三维重建方法，其特征在于，包括以下步骤：/n通过对待重建场景的多尺度推理逐渐精细化重建模型；/n参考低分辨率重建模型逐渐完善视角遮挡信息；以及/n根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。/n
【技术特征摘要】
1.一种基于遮挡信息多尺度感知的三维重建方法，其特征在于，包括以下步骤：
通过对待重建场景的多尺度推理逐渐精细化重建模型；
参考低分辨率重建模型逐渐完善视角遮挡信息；以及
根据每个三维子体素群的视图对对所述待重建场景进行表面预测，以得到该三维子体素群的多视角表面预测，并融合所述多视角表面预测得到该三维子体素群的点云预测，直到所有体素群分辨率中最低体素群分辨率小于等于预设分辨率时完成所述待重建场景的三维重建。
2.根据权利要求1所述的方法，其特征在于，所述通过对待重建场景的多尺度推理逐渐精细化重建模型，包括：
第一阶段，将整个待重建场景划分为一组最粗级的三维子体素群C(1)，其边长为l(1)＝s*r(1)，其中r(1)是将整个待重建场景体素化形成大小为s*s*s的张量时，最粗糙级别的体素分辨率；
迭代阶段，通过多尺度推理的公式生成体素群分辨率依次降低的三维体素群{C(2)，..，C(k)，...，C(K)}，其分辨率是具有共同比率δ的几何序列，r(k)＝δ*r(k+1)，直到r(K)≤r时停止迭代，其中，r是所述预设分辨率，而r(K)是所有体素群分辨率中最低体素群分辨率。
3.根据权利要求2所述的方法，其特征在于，所述多尺度推理的公式为：
其中，S(k-1)为三维子体素群C(k)上一级的点云预测，C(k)为三维子体素群，k为正整数，S(1)为所述第一阶段输出的点云预测。
4.根据权利要求3所述的方法，其特征在于，所述参考低分辨率重建模型逐渐完善视角遮挡信息，包括：
根据三维子体素群C(k)上一级的点云预测S(k-1)去除有遮挡的视图，以构建一个用于在第k个尺度级别上重建三维子体素群C(k)的视图子集其中，视图子集为：∧(C(k))＝{v|(v∈∧)∧(|B(C，v)|＜τ)}，τ为预设阈值，障碍点集其中，每个三维体素群C的视图v，凸包H(C，v)∈R3由一组点定义：H(C，v)＝Conv({c1，...，c8}∪{ov})，ov是v的相机中心，集合{c1，...，c8}包含三维子体素群C的8个角；
通过遮挡的概率值来惩罚每个视图对(vi，vj)，其中，
其中，α是控制遮挡的概率值的灵敏度的超参数，系数为对于不同尺度的归一化项。
5.根据权利要求4所述的方法，其特征在于，所述视图对的相对权值表示为：
其中，e(·)为对于每个图像和以及角度通过在投影的中心体素oC周围裁剪的补丁的表征，相对权重通过端到...
【专利技术属性】
技术研发人员：方璐，季梦奇，张晋之，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。