一种基于图像的绘制方法技术

本发明专利技术属于计算机图像学及虚拟现实技术领域，具体涉及一种基于图像的绘制方法。本发明专利技术通过获取包括底部图像的参考图像，根据平面镜中的底部图像计算得到虚拟视点下的底部虚拟参考图像，及其对应的虚拟相机参数，构造目标物体视觉凸壳，绘制新视点下的新视图。本发明专利技术在采集普通参考图像的同时取得物体底部的图像，有效消除现有方法中易出现的变形现象，使绘制结果更具真实感，并能在更大范围内实现自由浏览。

【技术实现步骤摘要】

本专利技术属于计算机图形学及虚拟现实
，具体涉及。技术背景计算机图形学的主要目标之一是在具有普通计算能力的计算机上实现真实感图形的 实时绘制。各种三维建模方法可以帮助我们建立复杂的模型以描述真实世界中的对象，进 而合成复杂的虚拟场景。计算机图形学领域内一般存在两大类方法对真实场景进行建模与 绘制基于几何的建模与绘制(GBMR)和基于图像的建模与绘制(IBMR)。基于几何的建模将场景描述成基本的几何基元，通过定义光源和物体表面材质等属 性，以及绘制公式的计算产生出虚拟的合成图像。基于几何的绘制计算强度大、速度慢， 尤其是对复杂场景进行建模和绘制时。因此，在虚拟现实这类需要实时绘制的领域，使用 基于几何的方法来实现具有照片真实感的绘制是非常困难的。与基于几何的建模与绘制相比，基于图像的建模与绘制是一个比较新的领域。这类方 法不需要预先建立几何模型，而是直接利用场景或物体的图像作为输入，从而为照片真实 感绘制提供了一种更自然的途径。基于图像的绘制方法的主要优点在于需要的计算资源 少，易于实现实时计算；绘制时间与场景的复杂度无关，因此可以用较短的建模时间、较 快的绘制速度来获得高度真实感的效果。其中，Matusik等人提出的基于图像的视觉凸壳 (Image-Based Visual Hull: IBVH)方法，由于计算效率较高，描述简便，得到了广泛的 应用(参见文献W. Matusik， C. Buehler, et al. Image-Based Visual Hull. Proceedings of ACM SIGGRAPH 2000, pp. 369 - 374, 2000)。在基于图像的视觉凸壳算法中，首先从不同的方向对物体采集若干参考图像，并将前 景物体与背景进行分割。分割后得到的二值图像称为侧影图(silhouette image)，由相机中心投射出来的射线与侧影的交集，称为投影锥。如图1所示，所有参考图像的投影锥 的交集，即是对真实三维实体表面的一种近似表达，称为视觉凸壳。在具体绘制过程中， 根据新视点的位置，从新视图的每个像素点可以引出一条射线，它与物体相交的交点位置 可以通过极线几何原理借助其他已知的参考图像计算得到。这是一种计算模型，并没有将 物体的几何模型显式地重建出来，而是根据每个像素所对应的三维交点的位置，投影到邻近的参考图像上取得正确的纹理，从而完成新视图的绘制。这一方法最大的贡献在于将计 算限制在二维图像空间，从而大大减少了计算量。常规视觉凸壳算法的思想是"从轮廓恢复形状"，因此从理论上讲，参考图像越多， 视觉凸壳就越接近真实的物体表面。但是，由于所有的参考图像必须处于相同参考坐标系 中，因此在不改变目标物体和坐标系相对位置的前提下，物体底部的图像是很难取得的。 而一旦改变物体的相对位置，就必须引入复杂的配准算法来将新获得的图像变换到原有坐 标系中。于是，如何有效地获取物体底部的图像，并在绘制时正确恢复出底部的形状与纹 理，就成为一个需要解决的难题。
技术实现思路
本专利技术的目的是针对现有基于图像的绘制技术在底部建模上的不足，在基于图像的视 觉凸壳算法的基础上，提出了一种基于"虚拟相机"概念的底部图像绘制方法。该方法旨 在解决对物体底部不能有效获取参考图像并正确恢复其几何形状及纹理信息的问题，使绘 制结果更具真实感，并能在更大范围内实现自由浏览。为达到上述目的，本专利技术提出的基于图像的绘制方法主要分为以下几个步骤(如图2 所示)1) 获取参考图像采用一种由透明玻璃板及平面镜组成的图像采集平台，从不同方位采集目标物体的图 像，包括其底部的图像。2) 图像分割通过图像分割，将每幅参考图像中的目标物体从背景中分离，得到物体轮廓；对于底 部图像，通过变换得到相应的虚拟图像。3) 相机标定根据标定场信息，计算每幅参考图像所对应相机的内、外参数；对于物体底部虚拟图 像，推导计算其对应虚拟相机参数。4) 构造目标物体视觉凸壳根据基于图像的视觉凸壳原理，计算从对应相机光心出发的投影锥，构造目标物体的 视觉凸壳模型。5)合成新视点下的新视图通过人机交互指定新视点，并绘制出此新视点下的合成视图。 本专利技术的优点和积极效果在于1. 通过简便有效的平面镜图像采集平台，可以在采集普通参考图像的同时，取得物 体底部的图像而无需任何附加配准计算。2. 本专利技术的绘制方法在几何、纹理方面进一步改善重建出的物体模型，有效消除现 有方法中易出现的变形现象，取得更高真实感的绘制结果。附图说明下面是对本专利技术附图的简要说明图1是视觉凸壳生成原理示意图；图2是本专利技术的图像绘制方法的流程图；图3是虚拟底部图像及虚拟相机的示意图；图4是本专利技术中采用的分布于平面镜上的同心圆标定场的示意图；图5是图像分割及虚拟底部图像生成的示意图；其中，(a)是原始图像；(b)是分离背景后的图像；(C)是顶部的真实图像； (d)是底部图像；(e)是翻转后生成的底部虚拟图像；图6是真实图像和虚拟底部图像及相机位置分布的示例图；图7是真实相机参数和虚拟相机参数标定方法的流程图；图8是基于图像的视觉凸壳绘制过程示意图；图9是绘制新视图时顶点重定位过程的示意图；图IO是使用本专利技术方法对目标物体进行绘制的结果示例；其中，(a)为常规方法绘制的结果，(b)是本专利技术方法绘制的结果。具体实施方式下面结合本专利技术的附图，详细描述本专利技术的具体实施方法。本专利技术的图像绘制方法的流程如图2所示，具体步骤如下步骤1通过对置于标定场中的目标物体从不同的方向进行拍摄，获取一组参考图像。 为了便于获取目标物体底部的信息，本专利技术采用平面镜图像采集平台。如图3所示，图像 采集平台由一面透明玻璃和一面分布有标定物的平面镜构成。平面镜的作用有两点(1) 在拍摄目标物体的参考图像的同时，获得其底部在平面镜中的像；(2)镜面上分布的同心 圆标定物构成标定场(如图4所示)，可以用于步骤3中对相机进行标定，计算其内、外 参数。透明玻璃与平面镜相隔一定距离，既可以平稳放置目标物体，又能够使平面镜的作 用得到发挥，保留物体底部在平面镜中的像。本专利技术的实施例中，玻璃与平面镜的尺寸分 别为800mmX800mmX5mm、 500咖X500画X5咖。采用较薄的玻璃，可以使玻璃-空气界 面处的折射所产生的影响尽可能降低。此处用于拍摄图像的设备可以是普通消费级数码相 机或CCD数字摄像头等。如图5所示，步骤2首先通过图像分割方法，将上述参考图像中的目标物体(包括物 体实像及平面镜中的虚像)与图像中的背景分离，得到所述目标物体的二维轮廓。本专利技术从每幅参考图像中获得真实物体图像和物体底部虚拟图像所述真实物体图像 通过对原始图像进行分割、将物体实像从背景中分离出来即可得到；所述物体底部虚拟图 像通过如下方法获得首先通过手工交互或自动背景剪除等方法，将物体在平面镜中的虚 像从背景中分离，再对其进行垂直翻转变换(即以图像水平中轴为对称轴做垂直方向的 对称变换)。从数学上可以证明，如果在与真实相机视点相对于平面镜平面对称的位置放 置一个完全对称的虚拟相机(如图3所示)，则该虚拟相机的成像与垂直翻转后的底部图 像是等价的(具体证明过程见步骤3)。因此垂直翻转后所得图像可以视为通过虚拟相机采 集到的物体底部图像，称为本文档来自技高网...

【技术保护点】
一种基于图像的绘制方法，其步骤包括：　１）从不同方位拍摄目标物体，利用图像采集平台采集所述目标物体的参考图像，所述参考图像包括真实图像和底部图像，所述采集平台中包括一面分布有若干同心圆标定物的平面镜；　２）将上述底部图像关于所述平面镜垂直翻转获得虚拟底部图像；　３）分别计算所述真实图像和虚拟底部图像对应的相机参数，提取目标物体轮廓，构造目标物体的视觉凸壳；　４）从上述不同参考图像中识别位于物体底部边缘的像素，利用视觉凸壳算法计算各像素对应的三维顶点坐标，确定物体底平面高度；　５）指定新视点方向，根据新视点相对于物体底平面的不同位置进行绘制，若新视点为仰视视点，且所述仰视视点所对应的三维点低于物体底平面高度，绘制时将所述三维点沿对应的视线延长至物体底平面高度，确定重定位后的交点，并将所述重定位后的交点映射到相邻参考图像，确定其对应的纹理，完成图像的绘制。

【技术特征摘要】

【专利技术属性】
技术研发人员：冯洁，宋本聪，周秉锋，
申请(专利权)人：北京大学，
类型：发明
国别省市：11[中国|北京]