一种基于纹理合成的三维模型自动上色方法技术

本发明专利技术公布了一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法对给定模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷地实现对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段。本发明专利技术方法可以方便快捷地对三维模型进行自动上色，无需手动进行网格参数化或手工设计纹理贴图，只需输入二维图像和待上色的三维模型，即可自动地合成模型贴图。本发明专利技术适合海量模型的自动上色工程，极大简化了模型着色的难度，也非常适合个性化的模型制作与展示。

An Automatic Coloring Method for 3D Models Based on Texture Synthesis

【技术实现步骤摘要】
一种基于纹理合成的三维模型自动上色方法
本专利技术涉及人工智能和计算机图形处理技术，尤其涉及一种基于纹理合成的三维模型自动上色方法。
技术介绍
三维模型是计算机中用来表示和存储真实世界中三维物体的形式，一般由多边形面片连接构成。相对于传统的二维图像来说，三维模型能带给人们更强的真实感和立体感。使用计算机进行三维模型处理一直以来是图形学的主要研究部分，主要应用包括计算机辅助设计(CAD)、3D计算机游戏，三维动画电影制作，以及近年来兴起的三维打印技术，再到如今发展势头强劲的虚拟现实与增强现实技术，都需要大量的三维模型作为其数据基础，要求计算机有能力处理三维模型。随着三维建模技术和三维扫描技术，特别是消费级RGBD摄像机的普及，三维模型的数量在互联网上与日俱增。比较典型的三维模型库如斯坦福大学开发的ShapeNet、3DWarehouse，都是包含百万级三维模型的模型库。模型库中有一些模型是采用建模软件如Maya、Sketchup的CAD建模而得到的，有些则是利用3D激光扫描仪、深度摄像头等捕获设备对真实物体进行三维重建而得到的。然而，这些海量的模型绝大部分都是没有颜色和纹理信息的“白模本文档来自技高网...

【技术保护点】
1.一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法对给定模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷地实现对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段；(一)在纹理图像处理阶段，对用户输入的纹理图像进行预处理，包括图像分解、区域分割处理，得到不同区域划分和纹理图像的像素点集；(二)在三维模型处理阶段，对用户输入的三维模型进行预处理，包括三维模型切割、渲染；均匀采样视角方向并渲染每个采样视角下的模型图，提取模型图特征并与用户输入的纹理图像进行匹配；得到不同区域划分和渲染图的像素点集；(三...

【技术特征摘要】
1.一种基于纹理合成的三维模型自动上色方法，采用纹理合成方法对给定模型和图像进行纹理合成，并通过网格投影恢复模型表面的纹理坐标，由此实现根据用户给定的图像合成模型贴图，方便快捷地实现对三维模型进行自动上色；包括：纹理图像处理阶段、三维模型处理阶段和纹理合成阶段；(一)在纹理图像处理阶段，对用户输入的纹理图像进行预处理，包括图像分解、区域分割处理，得到不同区域划分和纹理图像的像素点集；(二)在三维模型处理阶段，对用户输入的三维模型进行预处理，包括三维模型切割、渲染；均匀采样视角方向并渲染每个采样视角下的模型图，提取模型图特征并与用户输入的纹理图像进行匹配；得到不同区域划分和渲染图的像素点集；(三)在纹理合成阶段进行三维模型着色；包括如下步骤：31)将模型渲染图与纹理图像进行匹配：根据纹理图像处理和三维模型处理产生的结果，对纹理图像的像素点集和渲染图的像素点集进行匹配并重建区域对应关系；32)根据区域对应关系生成纹理合成指导，利用纹理合成方法，合成模型在视角方向和其背面的纹理图像；33)分别对可见面进行纹理合成和纹理坐标恢复；34)生成全局纹理坐标与模型纹理图，对边缘与缝隙进行补全；35)渲染并生成最终效果图，由此实现基于纹理合成的三维模型自动上色。2.如权利要求1所述自动上色方法，其特征是，所述纹理合成方法具体采用PatchMatch纹理合成方法。3.如权利要求1所述自动上色方法，其特征是，在(一)在纹理图像处理阶段的处理具体步骤如下：11)根据用户输入的前景分割完毕的或只有简单背景的纹理图像，利用图像分解方法对该图像进行分解，分解得到彩色图和光照图；12)利用四叉树分解法，将步骤11)得到的彩色图分解为多个具有相近颜色的图像块；13)提取图像块颜色特征，并在该特征空间进行维度约减，得到像素级颜色特征图；14)利用图分割技术分割步骤13)得到的像素级颜色特征图，得到不同区域划分；15)对用户输入的纹理图像进行均匀采样，得到纹理图像的像素点集。4.如权利要求3所述自动上色方法，其特征是，在步骤11)中，具体采用文献(BiS,HanX,YuY.AnL1,imagetransformforedge-preservingsmoothingandscene-levelintrinsicdecomposition[J].AcmTransactionsonGraphics,2015,34(4):78.)记载的图像分解方法，将图像分解为一对彩色图和光照图；在步骤12)中，图像逐步被均匀四等分，在初始状态下，图像分别被长、宽两条边的中线分割为四个子部分；对于其中每一个子部分，递归地执行图像四等分，直至图像块中的色彩分布的方差小于设置的方差阈值；在步骤13)中，提取图像块的颜色直方图作为特征，在此特征空间中，具体利用文献(Tenenbaum...

【专利技术属性】
技术研发人员：刘俊成，连宙辉，肖建国，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11