图像处理方法及图像处理装置、存储介质制造方法及图纸

本发明专利技术实施例公开一种图像处理方法及图像处理装置、存储介质，将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，对各网格的顶点所映射的纹理像素点之间进行插值处理。

【技术实现步骤摘要】
图像处理方法及图像处理装置、存储介质
本专利技术涉及图像处理技术，尤其涉及一种实现二维(2Dimensional，2D)/三维(3D)图像转换的图像处理方法及图像处理装置、存储介质。
技术介绍
相关技术中，三维模型已经应用于各种不同的领域。在医疗行业使用三维模型制作器官的精确模型；电影行业将三维模型用于活动的人物、物体以及现实电影；视频游戏产业将三维模型作为计算机与视频游戏中的资源；在科学领域将三维模型作为化合物的精确模型；建筑业将三维模型用来展示提议的建筑物或者风景表现；工程界将三维模型用于设计新设备、交通工具、结构以及其它应用领域。目前，三维人物模型在人脸肤色的计算上，主要采用理想光照数学模型并逼近真实人物肤色的效果渲染算法。然而，真实人脸拍照的光照模型会非常复杂，导致使用理想光照数学模型计算出来的人脸肤色值，与照片上的肤色有一定的差异。
技术实现思路
有鉴于此，本专利技术实施例为解决相关技术中存在的问题而提供一种图像处理方法及图像处理装置、存储介质。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种图像处理方法，包括：将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，对各网格的顶点所映射的纹理像素点之间进行插值处理。第二方面，本专利技术实施例提供一种图像处理装置，包括：映射模块，用于将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；第一确定模块，用于根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；第二确定模块，用于根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；颜色转移模块，用于根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，对各网格的顶点所映射的纹理像素点之间进行插值处理。第三方面，本专利技术实施例提供一种图像处理装置，包括：存储器，配置为存储可执行程序；处理器，配置为通过执行所述存储器中存储的可执行程序时实现以下操作：将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，对各网格的顶点所映射的纹理像素点之间进行插值处理。第四方面，本专利技术实施例提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时实现以下操作：将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，对各网格的顶点所映射的纹理像素点之间进行插值处理。本专利技术实施例在采用预先方式将图像生成三维模型的基础上，通过对三维模型的网格顶点进行颜色重建，及其利用重建后的三维模型的网格的颜色值以网格为单位进行颜色插值处理，从能够在有效实现颜色过度平滑的基础上，生成贴近于图像本身的纹理贴图，有效提高三维模型如三维模型中对象纹理计算的真实感。附图说明图1-1示出本专利技术实施例提供的三维坐标空间的一个可选的示意图；图1-2示出本专利技术实施例提供的设备的屏幕坐标系与三维坐标空间的原点重合的一个可选的示意图；图1-3示出本专利技术实施例提供的纹理空间的一个可选的示意图；图1-4示出本专利技术实施例提供的各网格的顶点在图像中映射的目标像素点的纹理坐标的示意图；图1-5示出本专利技术实施例提供的线性插值的一个可选的示意图；图2示出本专利技术实施例提供的图像处理系统的一个可选的架构示意图；图3-1示出本专利技术实施例提供的图像处理方法的实现流程示意图一；图3-2示出本专利技术一示例中人物A三维模型中各组成部分示意图；图3-3示出本专利技术一示例中生成贴近于图像本身的纹理贴图的显示效果图；图4-1示出本专利技术实施例提供的图像处理方法的实现流程示意图二；图4-2示出本专利技术实施例人体二维图像及其三维模型中各组成部分示意图；图4-3示出本专利技术实施例人脸图像特征点标记示意图；图4-4示出本专利技术实施例确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点的纹理坐标的示意图；图5-1示出本专利技术实施例提供的图像处理方法的实现流程示意图三；图5-2示出本专利技术实施例从人脸二维图像到人脸纹理的显示效果图；图6示出本专利技术实施例提供的图像处理装置的组成结构示意图；图7为示出本专利技术实施例提供的用于图像处理装置的一个可选的硬件结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术的技术方案进一步详细阐述。以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本专利技术，并不用于限定本专利技术。另外，以下所提供的实施例是用于实施本专利技术的部分实施例，而非提供实施本专利技术的全部实施例，在不冲突的情况下，本专利技术实施例记载的技术方案可以任意组合的方式实施。对本专利技术进行进一步详细说明之前，对本专利技术实施例中涉及的名词和术语进行说明，本专利技术实施例中涉及的名词和术语适用于如下的解释。1)图像，本文中指采集的包括各种对象(如人、物等)成像的数字化图像色。2)纹理，三维模型中表示的对象(如人、物体)表面的一层花纹，例如木纹、布纹、人体和动物的皮肤和商标图案等，用于控制对象表面的特性，即质感；三维模型中纹理的基本元素是纹理像素(纹理元素)点，纹理像素点在纹理具有两个要素：2.1)纹理坐标，表示纹理像素点在纹理中的位置，位置可以被认为是一个列(column)和行(row)的值，它们分别由U和V来表示；例如，纹理坐标是(0.5，0.0)，表示纹理像素点的颜色值是位于纹理中横向二分之一的位置、纵向的起始位置的颜色值。2.2)颜色值，即纹理像素点的颜色信息，如使用各种颜色空间(RGB/YUV)表示的颜色。3)特征点，图像中能够反映对象的局部特征的点，一般为多个像素点的集合，以人脸图像为例，特征点可以是眼睛特征点和鼻子特征点等具有可辨识性的区域。4)三维模型，对于描述对象的在三维空间成像的特征，包括几何分布和纹理；涉及两个空间：4.1)三维坐标空间，图1-1示出本专利技术实施例提供的三维坐标空间的一个可选的示意图，用于描述三维模型中各个本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，在各网格的顶点所映射的纹理像素点之间进行插值处理。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将图像中的特征点映射到三维模型中的特征点，形成所述图像中像素点与所述三维模型中三维点的第一映射关系；根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点；根据所述三维模型中三维点、与所述三维模型的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点；根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，以及，在各网格的顶点所映射的纹理像素点之间进行插值处理。2.根据权利要求1所述的方法，其特征在于，所述将图像中的特征点映射到三维模型中的特征点，形成所述图像中的像素点与所述三维模型中的三维点的第一映射关系，包括：识别二维的所述图像中对应对象的特征点；初始化所述对象中各特征点的二维坐标序列、与所述三维模型中相应特征点的三维坐标序列的映射矩阵；根据所述图像中各特征点、与所述三维模型中相应特征点的距离的加和最小，更新所述映射矩阵。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射关系，确定所述三维模型表面各网格的顶点在所述图像中所映射的目标像素点，包括：以所述网格的顶点的三维坐标查找所述第一映射关系，得到所述各网格的顶点在所述图像中所映射到的像素点的二维坐标；所述根据所述三维模型中三维点、与所述三维点的纹理像素点的第二映射关系，确定所述各网格的顶点在所述三维模型中所映射的纹理像素点，包括：以所述各网格的顶点的三维坐标查找所述第二映射关系，得到相应网格的顶点在所述三维模型中所映射到的纹理像素点的纹理坐标。4.根据权利要求1所述的方法，其特征在于，还包括：基于预设图像，对所述三维模型中的以下部分初始化纹理像素点的纹理坐标以及对应的颜色值：所述对象的成像部分，为所述对象在所述图像中成像的部分；所述对象的未成像部分，为所述对象在所述图像中未成像的部分。5.根据权利要求4所述的方法，其特征在于，所述根据所述各网格的顶点所映射的目标像素点的颜色值，对相应网格的顶点所映射的纹理像素点进行颜色转换，包括：当所述三维模型包括仅包括对象在所述图像的成像部分时，计算所述对象的平均颜色值；利用加和处理得到的颜色值，替换相应网格的顶点的初始化颜色值；或者，当渲染所述三维模型时，计算所述对象的平均颜色值；利用加和处理得到的颜色值，替换相应网格的顶点的初始化颜色值，并渲染替换后的颜色值。6.根据权利要求4所述的方法，其特征在于，还包括：当所述三维模型包括所述对象在所述图像的未成像部分时，计算所述对象的平均颜色值；根据所述平均颜色值，对所述三维模型中所述对象的未成像部分的初始化颜色值进行颜色迁移，或者，当渲染所述三维模型时，对所述三维模型中所述对象的未成像部分初始颜色值进行颜色迁移，并渲染颜色迁移后的颜色值。7.根据权利要求6所述的方法，其特征在于，所述对所...

【专利技术属性】
技术研发人员：易成，李斌，王新亮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44