基于单张图像构建三维网格的方法、装置和系统制造方法及图纸

本发明专利技术提供一种基于单张图像构建三维网格的方法、装置和系统。该方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。根据本发明专利技术实施例的基于单张图像构建三维网格的方法、装置和系统将图像中存在遮挡的位置处的原始面片连接关系断开，并针对被遮挡部分构建网格，可以有效去除明显的拉伸效应，改善视觉效果。

【技术实现步骤摘要】
基于单张图像构建三维网格的方法、装置和系统
本专利技术涉及图像处理
，更具体地涉及一种基于单张图像构建三维网格的方法、装置、系统和存储介质。
技术介绍
三维(3D)相册是指拍摄单张图像，把它变成三维图像。例如在手机上重建出三维场景，模拟相机在不同位置(例如相对于拍摄时位置的上下左右前后位置)、不同角度拍摄该场景获得的图像。该技术可增强照片的表现力，也可用于虚拟现实行业中。目前现有技术中，通过单张图像构建三维网格(mesh)的时候，在不同物体的分界处，没有考虑遮挡关系，导致渲染出来的图像在分界处会有明显的拉伸效应，视觉效果差；或者，只简单的构建双层网格，在多个不同深度分界处的位置会出现三角面片缺失的问题；此外，该种方法会产生许多无用的三角面片，导致其构建的网格较为庞大。
技术实现思路
为了解决上述问题中的至少一个而提出了本专利技术。本专利技术提出了一种基于单张图像构建三维网格的方案，其将图像中存在遮挡的位置处的原始面片连接关系断开，并针对被遮挡部分构建网格，可以有效去除明显的拉伸效应，改善视觉效果。下面简要描述本专利技术提出的基于单张图像构建三维网格的方案，更多细节将在后续结合附图在具体实施方式中加以描述。根据本专利技术一方面，提供了一种基于单张图像构建三维网格的方法，所述方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。在本专利技术的一个实施例中，所述针对所述存在遮挡的位置处的背景部分构建网格包括：在针对所述存在遮挡的位置处的背景部分构建面片时，每当需被构建面片的位置已被占据时则新建一层网格以用于构建面片。在本专利技术的一个实施例中，所述方法还包括：在针对所述存在遮挡的位置处的背景部分构建面片之前，确定被遮挡部分需要构建面片的最大值。在本专利技术的一个实施例中，所述确定输入图像对应的深度图像中存在遮挡的位置包括：针对所述深度图像中的每一个像素点，计算所述像素点与其相邻像素点之间的深度差；以及如果所述像素点与其任一相邻像素点之间的深度差大于预设阈值，则确定所述像素点在往所述任一相邻像素点的方向存在遮挡。在本专利技术的一个实施例中，所述像素点的相邻像素点包括所述像素点的上下左右四个方向的相邻像素点。在本专利技术的一个实施例中，所述在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格包括：断开所述像素点与所述任一相邻像素点之间的面片连接关系，并在所述像素点往所述任一相邻像素点的方向扩展顶点以构建网格，直到所述像素点往所述任一相邻像素点的方向不再存在遮挡。在本专利技术的一个实施例中，在所述像素点往所述任一相邻像素点的方向扩展顶点包括：每往所述方向扩展一个顶点，确定所述顶点是否能与所述顶点相邻的像素点连接或确定是否已经达到所述方向的最大扩展边界；如果确定所述顶点能与所述顶点相邻的像素点连接或确定已经达到所述方向的最大扩展边界，则所述方向扩展结束，如此迭代，直到每个像素点的所有存在遮挡的方向均扩展结束。在本专利技术的一个实施例中，所述在所述像素点往所述任一相邻像素点的方向扩展顶点还包括：在每往所述方向扩展一个顶点之前，确定要被扩展顶点的位置是否已被其他点占据，如果已被占据，则新建一层网格进行顶点扩展。在本专利技术的一个实施例中，所述方向的最大扩展边界基于拍摄所述输入图像的相机的成像模型、所述相机的内部参数以及用于模拟所述相机的位置变化幅度的预设参数而确定。根据本专利技术另一方面，提供了一种基于单张图像构建三维网格的装置，所述装置包括：计算模块，用于确定输入图像对应的深度图像中存在遮挡的位置；以及构建模块，用于在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。根据本专利技术又一方面，提供了一种基于单张图像构建三维网格的系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的基于单张图像构建三维网格的方法。根据本专利技术再一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行上述任一项所述的基于单张图像构建三维网格的方法。根据本专利技术又一方面，提供了一种计算机程序，所述计算机程序被计算机或处理器运行时用于执行上述任一项所述的基于单张图像构建三维网格的方法，所述计算机程序还用于实现上述任一项所述的基于单张图像构建三维网格的装置中的各模块。根据本专利技术实施例的基于单张图像构建三维网格的方法、装置和系统将图像中存在遮挡的位置处的原始面片连接关系断开，并针对被遮挡部分构建网格，可以有效去除明显的拉伸效应，改善视觉效果。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出用于实现根据本专利技术实施例的基于单张图像构建三维网格的方法、装置和系统的示例电子设备的示意性框图；图2示出根据本专利技术实施例的基于单张图像构建三维网格的方法的示意性流程图；图3示出根据本专利技术实施例的基于单张图像构建三维网格的装置的示意性框图；以及图4示出根据本专利技术实施例的基于单张图像构建三维网格的系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。首先，参照图1来描述用于实现本专利技术实施例的基于单张图像构建三维网格的方法、装置和系统的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本专利技术实施例中(由处理器实现)的基于单张图像构建三维网格的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应本文档来自技高网...

【技术保护点】
1.一种基于单张图像构建三维网格的方法，其特征在于，所述方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。

【技术特征摘要】
1.一种基于单张图像构建三维网格的方法，其特征在于，所述方法包括：确定输入图像对应的深度图像中存在遮挡的位置；以及在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格。2.根据权利要求1所述的方法，其特征在于，所述针对所述存在遮挡的位置处的背景部分构建网格包括：在针对所述存在遮挡的位置处的背景部分构建面片时，每当需被构建面片的位置已被占据时则新建一层网格以用于构建面片。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在针对所述存在遮挡的位置处的背景部分构建面片之前，确定被遮挡部分需要构建面片的最大值。4.根据权利要求1-3中的任一项所述的方法，其特征在于，所述确定输入图像对应的深度图像中存在遮挡的位置包括：针对所述深度图像中的每一个像素点，计算所述像素点与其相邻像素点之间的深度差；以及如果所述像素点与其任一相邻像素点之间的深度差大于预设阈值，则确定所述像素点在往所述任一相邻像素点的方向存在遮挡。5.根据权利要求4所述的方法，其特征在于，所述像素点的相邻像素点包括所述像素点的上下左右四个方向的相邻像素点。6.根据权利要求4所述的方法，其特征在于，所述在所述存在遮挡的位置处断开前景和背景之间的面片连接关系，并针对所述存在遮挡的位置处的背景部分构建网格包括：断开所述像素点与所述任一相邻像素点之间的面片连接关系，并在所述像素点往所述任一相邻像素点的方向扩展顶点以构建网格，直到所述像素点往所述任一相邻像素点的方向不再存在遮挡。7.根据权利要求6所述的方法，其特征在于，在所...

【专利技术属性】
技术研发人员：杨骏锋，范浩强，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11