一种交互式多视点三维模型重建方法技术

本发明专利技术涉及一种引入了用户交互式操作的三维重建算法，属于计算机多媒体技术领域。该方法为：用户利用多个摄像机，获得对物体的多个视点的二维图像Ｉ↓［ｉ］，提取出其轮廓图；计算机根据各摄像机几何参数和轮廓图，获取实际场景的可视化外壳模型，并将其转化为点云形式；提取各图像中的二维特征，优化出这些特征所对应的实际表面之模型的部分；用户将图像Ｉ↓［ｉ］划分出平滑度区域，及凹陷度区域；依据以上选出的各区域建立出不均匀的带权图，并采用求出图的最小割，并从中得出优化后的场景表面模型。该方法根据输入的对实际物体所拍摄的多视点图像和各图像所对应的摄像机参数，结合用户的辅助操作，能够以较快的速度高质量地重建出物体的三维模型。

【技术实现步骤摘要】

本专利技术属于计算机多媒体
，特别涉及多视点三维重建方法。技术背景三维重建，即采用合适的数据结构，对现实世界中场景的表面的三维几何形态进行建 模和表述的过程。三维重建技术，在娱乐，CAD，文物保护等多方面都将有很大的应用。 在很长一段时期中，三维重建的实现主要借助于三维扫描仪等能够直接获得深度信息的工 具，称之为扫描型三维重建。而仿照人类的视觉机能，人们也可以从物体多个视角的二维 视图中，获得三维几何信息，从而同样达到三维重建的目的。以上这种依据多个二维视图 所实现的三维重建，称之为多视点三维重建。由于多视点三维重建主要依赖于二维视图， 所以其实现仅仅需要常见而相对廉价的二维图像采集设备，如数码相机等，因此对于实际应用来说，多视点三维重建技术具有低成本和易推广的优势。虽然早期的多视点三维盧建 技术在重建质量上大大劣于扫描型三维重建技术，但随着计算机视觉技术的发展，两者在 重建质量上的差距已经越来越小。但由于计算机数据处理和存储能力的限制，》网络传输 带宽的限制，当前的多视点三维重建技术在重建速度上，仍然明显落后于扫描型三维重建。所以，在当前的发展趋势下，实际应用对多视点三维重建技术的迫切要求是其应该在保 证一定的重建质量的前提下，进一步提高速度。一种比较重要的早期多视点重建技术为可视化外壳技术(Visual Hull)，其能够通过取 自各视点的轮廓图，很快地得到重建结果(称此结果为可视化外壳)，但其结果的质量很 差，完全无法真实反映物体表面的凹陷部位。但可视化外壳技术的思想很简单，并且易于 实现，所以其仍然广泛地应用于很多场合。而且，使用当前计算机硬件，可视化外壳技术 可以达到很高的重建速度。最近提出的一些受关注较多的新的多视点三维重建技术，则都可以视为是一个对可视 化外壳进行修正的过程，如英国萨里(Surrey)大学的Jonathan Starck，英国剑桥(Cambridge) 大学的George Vogiatzis等各自所专利技术的多视点三维重建技术。在这些新的多视点三维重建 技术中，主要包括(1)图像的获取，(2)轮廓图的获取，(3)可视化外壳的生成，(4) 可视化外壳的点云化，(5)特征的提取，(6)特征的筛选，(7)特征的重建，(8) Graph Cut 优化重建这些新的技术在重建质量上有了很大的飞跃，甚至能够很接近那些扫描型三维 重建技术的水平。但就重建速度来说，这些技术的表现都比较不尽如人意。
技术实现思路
本专利技术的目的是为克服已有技术的不足之处，提出，本方法能够从采集自多个视点的图像中，结合每个视点的摄象机的几何参数，重建出 场景的表面模型。并能够通过引入用户操作来提高重建的速度和质量。本专利技术提出的，其特征在于，该方法包括以下步骤1) 图像的获取用户利用多个摄像机，获得对物体的多个视点的二维图像/,，其中脚标/，表示各个对应视点的编号；并利用Zhang Zhengyou摄像机标定方法，获得各摄像机 的几何参数f;2) 轮廓图的获取用户利用Lazy Snapping算法在计算机屏上对各视点7;处的二维图 像/,进行前景与背景的划分，从而提取出前景的轮廓，生成对应轮廓图S,;3) 可视化外壳的生成计算机根据各轮廓图S,和各摄像机的几何参数《，利用EPVH算法，重建出物体表面的可视化外壳F，并以网格形式表达；4) 可视化外壳的点云化计算机将可视化外壳F离散化形成点云F (点的集合)；其 具体方法是用与x，y，z三坐标轴平行的多条直线，将空间均匀釆样，得到一系列均匀排列 的交点，称作网点；然后取这些直线与r的网面相交处的网点，作为点云K'中的点；在点 云r'中的任意一点^所对应的数据结构中，包括坐标Coo^vJ,平滑程度5Vn"v,人凹陷程度CO"C")，及其在可视化外壳K中的对应网面的编号N(VJ四个数据；5) 特征的提取计算机采用DOG或Harris寫子，提取出所述二维图像/,的二维特征 集合巧OVP,2…^J;6) 特征的筛选计算机根据三个视点处的摄像机几何参数iM,与i,，寻找与视点7; 最邻近的两个视点7;+,与7;一的图像/,+,与/,—中，与图像/,的特征点A对应的特征点/v^与;7) 特征的重建在两幅图像/,+,与/,一中找到图像/,上特征点A的对应点p(,+," 、 ；v^ , A与7;处摄像机中心0,所确定的直线pyO,与可视化外壳K交于两点与y)，即实际物体表面上投影到pv的点 一'"在A(y)与&(y)间的线段上，计算机对线段《,(y)92(y)按相同长度进行分段，以各等分点作为节点，将相邻节点连接形成带权图(s-t)，并采用最大流算法求 得该带权图的最小割(minimumcut)，并从该最小割中得到特征点j^所对应的局部表面， 以点云{^这种形式来表示；、 '8)可视化外壳的区域划分用户在图像/,中划分出平滑度区域及凹陷度区域 并依据摄像机几何参数f,对点云F'中的对应于所述区域的各点、的平滑程度值 5Vw《vJ，凹陷程度值Co"cfvJ进行设定，计算机再对区域边界进行自动修正；9)重建范围的确定计算机按点云F'上各点^的平滑程度Sm《vJ进行上采样，得到稠密化的新点云然后根据各点^的凹陷程度CO""VJ，确定下一步优化操作所需要 的点集&￡(_ ，其中步骤7)所得的点云印为该点集&^幼,的一个子集；10) GraphCut优化重建计算机根据步骤7)中重建出的点云印、各摄像机的几何参 数f和各图像/,，利用步骤9)中所得到的点集《^,_ 中的点作为节点建立带权(s-t)图，对于^中的点所对应的节点，由于其被确定属于物体的实际表面，其所连的边的权值也 会得到相应的修正。最终采用push-relabel算法，得出该图的最小割(minimum cut),从中 获取出物体表面的精确的点云模型，作为重建的三维模型。 本专利技术的特点本专利技术针对已有新技术完全依赖于自动操作，而忽视了用户的主观能动性的不足之 处。加入用户操作，利用人的先验知识，能够仅仅从一幅二维图像上，判断出前景不同部 分所具有的不同光滑程度，并能够发现物体表面可能的凹陷。这些识别能力在准确程度和 速度上，都远远强于当前计算机视觉的发展水平。本专利技术根据当前的实际应用对多视点三维重建技术提出的提高速度之要求，根据 Graph Cut优化模型的原理，结合对用户之实际操作能力的考虑，该方法根据输入的对实际 物体所拍摄的多视点图像和各图像所对应的摄像机参数，结合用户的辅助操作，能够以较 快的速度高质量地重建出物体的三维模型。本专利技术能达到以下有益效果1. 通过适当的用户操作而显著提高了准确率，并降低了处理时间；2. 各步所得的中间结果皆可输出，并可应用在其他方面；3. 结构清晰；4. 重建质量高。附图说明图1为本专利技术的方法总体流程框图；图2为本专利技术的实施例中由10个视点的摄象机所得的二维图像；图3为本实施例中3个视点的二维图像的轮廓图；图4为本实施例由EPVH算法得到的可视化外壳；图5为本实施例由点云形式表达的可视化外壳；图6为本实施例最终重建出的模型。具体实施方式本专利技术提出的，结合附图及实施例详细说明如下本专利技术的方法流程，如图1所示，包括以下步骤(1)图像的获取用户利用多个摄像机，获得对本文档来自技高网...

【技术保护点】
一种交互式多视点三维模型重建方法，其特征在于，该方法包括以下步骤：１）图像的获取：用户利用多个摄像机，获得对物体的多个视点的二维图像Ｉ↓［ｉ］，其中脚标ｉ，表示各个对应视点的编号；并利用ＺｈａｎｇＺｈｅｎｇｙｏｕ摄像机标定方法， 获得各摄像机的几何参数Ｐ↓［ｉ］；２）轮廓图的获取：用户利用ＬａｚｙＳｎａｐｐｉｎｇ算法在计算机屏上对各视点Ｔ↓［ｉ］处的二维图像Ｉ↓［ｉ］进行前景与背景的划分，从而提取出前景的轮廓，生成对应轮廓图Ｓ↓［ｉ］；３）可视化 外壳的生成：计算机根据各轮廓图Ｓ↓［ｉ］和各摄像机的几何参数Ｐ↓［ｉ］，利用ＥＰＶＨ算法，重建出物体表面的可视化外壳Ｖ，并以网格形式表达；４）可视化外壳的点云化：计算机将可视化外壳Ｖ离散化形成点云Ｖ’（点的集合）；其具体方法是：用与 ｘ，ｙ，ｚ三坐标轴平行的多条直线，将空间均匀采样，得到一系列均匀排列的交点，称作网点；然后取这些直线与Ｖ的网面相交处的网点，作为点云Ｖ’中的点；在点云Ｖ’中的任意一点ｖ↓［ｋ］所对应的数据结构中，包括坐标Ｃｏｏｒ（ｖ↓［ｋ］），平滑程度Ｓｍｔ（ｖ↓［ｋ］），凹陷程度Ｃｏｎｃ（ｖ↓［ｋ］），及其在可视化外壳Ｖ中的对应网面的编号Ｎ（ｖ↓［ｋ］）四个数据；５）特征的提取：计算机采用ＤＯＧ或Ｈａｒｒｉｓ算子，提取出所述二维图像Ｉ↓［ｉ］的二维特征集合Ｆ↓［ｉ］｛ｐ↓［ｉ１］， ｐ↓［ｉ２］…ｐ↓［ｉＮ］｝；６）特征的筛选：计算机根据三个视点处的摄像机几何参数Ｐ↓［ｉ］，Ｐ↓［ｉ＋１］与Ｐ↓［ｉ－１］，寻找与视点Ｔ↓［ｉ］最邻近的两个视点Ｔ↓［ｉ＋１］与Ｔ↓［ｉ－１］的图像Ｉ↓［ｉ＋１］与Ｉ↓［ｉ－１］中， 与图像Ｉ↓［ｉ］的特征点ｐ↓［ｉｊ］对应的特征点ｐ↓［（ｉ＋１）ｊ］与ｐ↓［（ｉ－１）ｊ］；７）特征的重建：在两幅图像Ｉ↓［ｉ＋１］与Ｉ↓［ｉ－１］中找到图像Ｉ↓［ｉ］上特征点ｐ↓［ｉｊ］的对应点ｐ↓［（ｉ＋１）ｊ］、ｐ↓［（ｉ－１ ）ｊ］，ｐ↓［ｉｊ］与Ｔ↓［ｉ］处摄像机中心Ｏ↓［ｉ］所确定的直线ｐ↓［ｉｊ］Ｏ↓［ｉ］与可视化外壳Ｖ交于两点ｑ↓［１］↑［（ｉｊ）］与ｑ↓［２］↑［（ｉｊ）］，即实际物体表面上投影到ｐ↓［ｉｊ］的点ｑ↑［（ｉｊ）］在ｑ↓［１］↑［（ｉｊ）］与ｑ↓［２］↑［（ｉｊ）］间的线段上，计算机对线段ｑ↓［１］↑［（ｉｊ）］ｑ↓［２］↑［（ｉｊ）］按相同长度进行分段，以各等...

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，刘烨斌，冯晓端，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]