一种基于单幅线条图像的三维立体重建方法技术

本发明专利技术公布了一种基于单幅线条图像的三维立体重建方法。该方法首先将输入的线条图像进行矢量化处理，将其转换为二维矢量线条图，然后应用子图同构的方法将二维矢量线条图与预先设定的三维模型库进行匹配，与之匹配的模型称为候选模型，最后将线条图与候选模型的坐标差距函数进行最小化求解，以选择最优的模型并得出重建结果。本发明专利技术可以有效地对单幅线条图像进行三维立体重建，极大地提高了相关文档的阅读体验。

【技术实现步骤摘要】
一种基于单幅线条图像的三维立体重建方法
本专利技术属于图像处理与计算机视觉领域，涉及一种基于单幅线条图像的三维立体重建方法。
技术介绍
在各式各样的电子文档中存在着大量的立体几何图形。这些文档包括教材、试题、演示稿等等。然而，这些立体几何图形绝大部分以二维线条图像的方式存储在文档中，而无法直接呈现物体的三维立体结构，对读者的阅读造成了不便。特别是在移动阅读设备、三维显示设备越来越成熟的今天，以二维线条图像方式存储和显示的立体几何图形已经落后于先进的显示技术，影响了读者的阅读体验。如果可以将这些线条图像恢复重建为三维立体，将极大地提高读者的阅读体验。“线条图”是一种人造的二维图形，它能够以清晰直观的方式描述物体的结构。不同于一般的自然图像，线条图的结构往往由点、线构成，具有清晰的几何结构，由平行投影构成，没有透视特征，并不具有一般自然图像中的纹理信息。人们常见的线条图包括手绘图形，工程制图，CAD制图，教材插图，等等。线条图实际上是一个含有顶点和边的连通图(对于非连通图可以划分为连通子图分别进行处理)。对线条图进行三维重建的算法一般需要一个预处理把图形转换为顶点二维坐标和连接边集合。顶点之间的连接边，可以是直线段，也可以是曲线。过去20年，出现了大量基于单幅线条图的三维立体重建方法的研究。这些研究采用的方法、适用对象、应用场景都不尽相同。按重建方法采用的算法分类，有基于优化准则、基于几何假设推理、基于分治策略等方法。基于规则是早期大部分方法所采用的，它们将三维立体定义为几何物体，并用一些几何规则对其加以约束，以在求解空间中寻求最佳的结果。常用的规则有平面规则(文献“Anoptimization-basedapproachtotheinterpretationofsinglelinedrawingsas3Dwireframes.InternationalJournalofComputerVision，1992.”)、MSDA规则(文献“Emulatingthehumaninterpretationofline-drawingsasthree-dimensionalobjects.InternationalJournalofComputerVision，1991.”)、MSDSM规则(文献“3DObjectRecoveryfrom2DImages：ANewApproach.SPIEProc.RoboticsandComputerVision，1996.”)、MEAD规则(文献“3-Dinterpretationofsinglelinedrawingsbasedonentropyminimizationprinciple.ComputerVisionandPatternRecognition，2001.”)等。求解优化函数一般是这类方法的最终步骤；基于几何假设的方法首先假设其所处理的三维立体遵循一定的要求，如含有立方角点(文献“3Dreconstructionofpolyhedralobjectsfromsingleparallelprojectionsusingcubiccorner.Computer-AidedDesign，2011.”)、有空间对称性(文献“Inferringmirrorsymmetric3Dshapesfromsketches.Computer-AidedDesign，2012.”)等。在假设的基础上，它们对整个物体的点和边坐标进行推测，最终得到立体重建结果。这种方法中不一定包含优化求解步骤，一般计算复杂度相对较低，但其假设条件通常较苛刻，只适用于一些特殊的图形；近年出现的一些方法(文献“Adivide-and-conquerapproachto3Dobjectreconstructionfromlinedrawings.IEEE11thInternationalConferenceonComputerVision，2007.”，文献“Decompositionofcomplexlinedrawingswithhiddenlinesfor3Dplanar-facedmanifoldobjectreconstruction.IEEETransactionsonPatternAnalysisandMachineIntelligence，2011.”，文献“Objectcut：Complex3dobjectreconstructionthroughlinedrawingseparation.IEEEConferenceonComputerVisionandPatternRecognition，2010.”)采用了分治的策略来解决一些复杂的三维立体重建问题，它们先将复杂的图形划分为尽量简单的基本部分，然后应用一些规则来进行优化求解，最后将各个部分求得的结果组合起来得到整个重建的结果。可见，目前的对单幅线条图的三维立体重建方法大多只能处理矢量化的线条图，而无法对图像进行处理。即使可以通过一定的预处理将线条图像转化为矢量的线条图，目前方法也高度依赖线条图的完整性和正确性，有些甚至必须依赖手工处理提取线条图，而没有一种高效的、可以直接处理图像的、有容错能力的三维立体重建方法。
技术实现思路
为了实现对单幅线条图像进行高效的三维立体重建，本专利技术提出一种基于单幅线条图像的三维立体重建方法。该方法首先将输入的线条图像进行矢量化处理，将其转换为二维矢量线条图，然后应用“子图匹配”的方法将二维矢量线条图与预先设定的三维模型库进行匹配，与之匹配的模型称为候选模型，最后将线条图与候选模型的坐标差距函数进行最小化求解，以选择最优的模型并得出重建结果。本专利技术可以有效地对单幅线条图像进行三维立体重建。本专利技术的处理对象是从PDF或其它格式的电子文档中提取的几何线条图像，或通过手机及其它照相设备拍摄，或通过扫描仪扫描纸质教材获取的几何线条图像。本专利技术提供的技术方案如下：一种基于单幅线条图像的三维立体重建方法，其特征是，包括如下步骤：1)从输入图像中提取出矢量线条图；2)从三维模型库中为矢量线条图选取若干候选模型；3)将矢量线条图的顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹配矢量线条图的二维顶点坐标，使得矢量线条图与候选模型各个顶点的坐标之方差达到最小值；然后从若干个候选模型中选出坐标之方差最小的模型，作为三维立体重建的结果。优选的：所述的三维立体重建方法，其特征是，步骤1)的实现方法为：1.1)将输入图像进行二值化处理和连通分支搜索；1.2)将图像中待提取的线条分为实线和虚线进行直线的提取；1.3)根据所提取的直线的交点把直线切分成线段；1.4)过滤掉多余的线条，得到矢量线条图。所述的三维立体重建方法，其特征是，步骤2)中所述的三维模型库中，以参数化形式保存三维模型：一个三维模型为一个三维空间中的线条图，其顶点坐标由一组参数控制。所述的三维立体重建方法，其特征是，步骤2)中，使用子图同构的方法为矢量线条图选取若干候选模型。所述的三维立体重建方法，其特征是，步骤2)中，需进行两次匹配，第一次将矢量线条图作为大图，将三维模型作为小图；第二次将三维模型作为大图，将矢量线条图作为小图。所述的三维立体重建方法，其特本文档来自技高网...

【技术保护点】
一种基于单幅线条图像的三维立体重建方法，其特征是，包括如下步骤：1)从输入图像中提取出矢量线条图；2)从三维模型库中为矢量线条图选取若干候选模型；3)将矢量线条图的顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹配矢量线条图的二维顶点坐标，使得矢量线条图与候选模型各个顶点的坐标之方差达到最小值；然后从若干个候选模型中选出坐标之方差最小的模型，作为三维立体重建的结果。

【技术特征摘要】
1.一种基于单幅线条图像的三维立体重建方法，其特征是，包括如下步骤：1)从输入图像中提取出矢量线条图；2)从三维模型库中使用子图同构的方法为矢量线条图选取若干候选模型；且需进行两次匹配，第一次将矢量线条图作为大图，将三维模型作为小图；第二次将三维模型作为大图，将矢量线条图作为小图；3)将矢量线条图的顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹配矢量线条图的二维顶点坐标，使得矢量线条图与候选模型各个顶点的坐标之方差达到最小值；然后从若干个候选模型中选出坐标之方差最小的模型，作为三维立体重建的结果。2.如权利要求1所述的三维立体重建方法，其特征是，步骤1)的实现方法为：1.1)将输入图像进行二值化处理和连通分支搜索；1.2)将图像中待提取的线条分为实线和虚线进行直线的提取；1.3)根据所提取的直线的交点把直线切分成线段；1.4)过滤掉多余的线条，得到矢量线条图。3.如权利要求1所述的三维立体重建方法，其特征是，步骤2)中所述的三维模型库中，以参数化形式保存三维模型：...

【专利技术属性】
技术研发人员：郑金鑫，王勇涛，汤帜，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11