基于引导先验的纹理映射系统和方法技术方案

用于三维(three dimensional，3D)模型纹理化的系统，包括计算装置，该计算装置用于：指示相机拍摄对象的图像；基于图像构建对象的3D模型；使用图像的关键帧对3D模型进行纹理化，获得纹理化3D模型；通过将纹理化3D模型投影到关键帧的相机姿态生成引导图像；对于每个引导图像和关键帧对：基于其对应关系修改引导图像和关键帧，获得增强引导图像和扭曲图像，将增强引导图像和扭曲图像组合，获得协调图像，并将协调图像的颜色投影到3D模型，获得纹理化3D模型。模型。模型。

【技术实现步骤摘要】
基于引导先验的纹理映射系统和方法


[0001]本公开整体涉及计算机视觉中三维(three dimensional，3D)重建
，更具体地，涉及使用引导图像有效纹理化或渲染重建3D模型的系统和方法。

技术介绍

[0002]在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，专利技术人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。
[0003]3D重建是计算机视觉领域中一个重要且具有挑战性的项目，其能够从图像序列中自动获取虚拟几何图形，已被广泛应用于工业领域，例如3D打印的计算机辅助设计(CAD)建模、机器人导航和获悉自动驾驶的街道情况中。特别是，随着便携式移动设备中消费级深度相机的发展，现在很多人可以轻松创建出他们在现实世界中想要获得的对象以及场景的3D几何模型。
[0004]更具体地，在零售业务中，获取高保真的3D信息较有利于增强购物体验和入站营销。其能够提供一种更具娱乐性的方式，通过3D虚拟形式来展示商品，客户甚至可以在真实环境中进行虚拟拟合或装饰。
[0005]然而，在实际应用中，仅拍摄对象的原始几何图形是不够的，因为该几何图形中仍然缺少用于呈现对象外观的颜色信息。忠于原始的视觉重建应该包含对象上每个点的几何形状和外观颜色。在某种程度上，由于良好的纹理可以减轻几何模型中的伪影，因此外观呈现甚至对上述问题影响较大。若每个重建模型均由图形美工者手动生成纹理，不仅效率低下，而且成本高昂。现有系统在自动生成3D重建模型的几何纹理时，会出现模糊、重影等问题，或者因要进行复杂的全局优化迭代运算而需要昂贵的计算装置，从而极大地限制了重建模型在现实中的适用范围，尤其是在移动设备上。
[0006]因此，需要解决上述存在于本领域的缺陷和不足。

技术实现思路

[0007]在某些方面，本公开涉及一种三维(three dimensional，3D)模型纹理化系统。系统包括计算装置以及与计算装置通信的图像拍摄装置。计算装置包括处理器和存储有计算机可执行代码的存储装置。当计算机可执行代码在处理器上执行时用于：
[0008]指示图像拍摄装置拍摄对象的多个图像，其中多个图像包括m个关键帧，m为正整数；
[0009]基于多个图像，构建对象的3D模型，并定义m个关键帧的相机姿态；
[0010]使用m个关键帧对3D模型进行初始纹理化，获得初始纹理化3D模型；
[0011]通过将初始纹理化3D模型投影到m个关键帧中相应关键帧的相机姿态，生成m个引导图像中的每个引导图像；以及
[0012]对于m个引导图像中的第i引导图像和m个关键帧中的第i关键帧：基于第i引导图
像和第i关键帧的对应关系，修改第i引导图像和第i关键帧，以获得第i增强引导图像和第i扭曲图像；组合第i增强引导图像和第i扭曲图像，以获得第i协调图像，并将来自第i协调图像的颜色投影到3D模型，以获得纹理化3D模型。
[0013]在某些实施例中，通过将第i增强引导图像的低频分量与第i扭曲图像的高频分量相加，来进行组合。
[0014]相机姿态是指图像拍摄装置的姿态。在某些实施例中，图像拍摄装置是红绿蓝(RGB)相机或RGB深度(RGBD)相机。
[0015]在某些实施例中，计算机可执行代码用于使用KinectFusion构建3D模型。
[0016]在某些实施例中，计算机可执行代码用于使用基于混合的技术对3D模型进行初始纹理化。
[0017]在某些实施例中，计算机可执行代码用于通过以下方式修改第i引导图像和第i关键帧：为第i引导图像中的每个像素在第i关键帧中搜索像素，并将第i引导图像中的每个像素的颜色替换为第i关键帧中对应像素的颜色，以获得第i增强引导图像；以及基于第i增强引导图像，优化第i关键帧的密集流场，以获得第i扭曲图像。
[0018]在某些实施例中，计算机可执行代码用于通过以下方式组合第i增强引导图像和第i扭曲图像：分别对第i引导图像和第i扭曲图像进行拉普拉斯金字塔处理，以获得六级第i引导金字塔和六级第i关键帧金字塔，并将第i关键帧金字塔的第六级替换为第i引导金字塔的第六级，以获得第i协调图像。
[0019]在某些实施例中，在第i关键帧中搜索像素通过以下方式执行：
[0020]模糊第i关键帧，以获得第i模糊图像；以及
[0021]对于第i引导图像中的每个目标像素：在第i引导图像中定义围绕目标像素的引导块；在第i模糊图像中搜索与引导块最为匹配的模糊块，模糊块围绕模糊像素；以及定义关键帧像素，其中，第i关键帧中关键帧像素的坐标与第i模糊图像中模糊像素的坐标相同，用关键帧像素的颜色替换第i引导图像中目标像素的颜色，以获得第i增强引导图像。
[0022]在某些实施例中，目标块的尺寸范围为3
×
3像素到5
×
5像素。在某些实施例中，目标块的尺寸为3
×
3像素。在某些实施例中，目标块的尺寸为5
×
5像素。
[0023]在某些实施例中，在第i模糊图像中的搜索区域中进行搜索，搜索区域的尺寸范围为(20～100)
×
(20～100)个像素；搜索区域具有中心像素，第i模糊图像中中心像素的坐标与第i引导图像中目标像素的坐标相同。
[0024]在某些实施例中，搜索区域的尺寸为50
×
50像素。
[0025]在某些实施例中，计算机可执行代码用于对于3D模型的每个三角面，通过以下方式，将来自第i协调图像的颜色投影到3D模型，以获得纹理化3D模型：
[0026]确定包括与三角面相对应区域的多个协调关键帧；
[0027]确定三角面的法线，法线通过三角面的中心点；
[0028]对于多个协调关键帧的每个协调关键帧：连接三角面的中心点与对应协调关键帧的相机中心，以获得连线；通过计算方向分数z1，其中，α为法线与连接线的夹角；基于协调关键帧中的区域和边界之间的最小距离d计算距离分数，其中，当最小距离大
于像素阈值Th时，距离分数为1；当最小距离d等于或小于像素阈值时，距离分数为以及通过对方向分数和距离分数进行加权求和，计算总分数；以及
[0029]使用多个协调关键帧中总分数最高的协调关键帧对三角面进行纹理化。
[0030]在某些实施例中，像素阈值为50，总分数z的计算公式为：z＝0.6
×
z2+0.4
×
z2。在某些实施例中，总分数z的计算公式为：z＝0.5
×
z2+0.5
×
z2。
[0031]在某些实施例中，系统还包括：
[0032]服务器计算装置，与计算装置通信，并用于存储纹理化3D模型；以及
[0033]远程计算装置，与服务器计算装置通信，并用于在接收到来自客户的指令以拟合具有纹理化3D模型的产品时：检索纹理化3D模型，并实时为客户拟合纹理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维3D模型纹理化系统，包括计算装置以及与所述计算装置通信的图像拍摄装置，所述计算装置包括处理器和存储有计算机可执行代码的存储装置，所述计算机可执行代码在所述处理器上执行时用于：指示所述图像拍摄装置拍摄对象的多个图像，其中所述多个图像包括m个关键帧，m为正整数；基于所述多个图像，构建所述对象的3D模型，并定义所述m个关键帧的相机姿态；使用所述m个关键帧对所述3D模型进行初始纹理化，获得初始纹理化3D模型；通过将所述初始纹理化3D模型投影到所述m个关键帧中相应关键帧的相机姿态，生成m个引导图像中的每个引导图像；以及对于所述m个引导图像中的第i引导图像和所述m个关键帧中的第i关键帧：基于所述第i引导图像和所述第i关键帧的对应关系，修改所述第i引导图像和所述第i关键帧，以获得第i增强引导图像和第i扭曲图像；组合所述第i增强引导图像和所述第i扭曲图像，以获得第i协调图像，并将来自所述第i协调图像的颜色投影到所述3D模型，以获得纹理化3D模型。2.根据权利要求1所述的系统，其中，所述计算机可执行代码用于使用KinectFusion构建所述3D模型，以及使用基于混合的技术对所述3D模型进行初始纹理化。3.根据权利要求1所述的系统，其中，所述计算机可执行代码用于通过以下方式修改所述第i引导图像和所述第i关键帧：为所述第i引导图像中的每个像素在所述第i关键帧中搜索像素，并将所述第i引导图像中的每个像素的颜色替换为所述第i关键帧中对应像素的颜色，以获得所述第i增强引导图像；以及基于所述第i增强引导图像，优化所述第i关键帧的密集流场，以获得所述第i扭曲图像。4.根据权利要求3所述的系统，其中，所述计算机可执行代码用于通过以下方式组合所述第i增强引导图像和所述第i扭曲图像：分别对所述第i引导图像和所述第i扭曲图像进行拉普拉斯金字塔处理，以获得六级第i引导金字塔和六级第i关键帧金字塔，并将所述第i关键帧金字塔的第六级替换为所述第i引导金字塔的第六级，以获得所述第i协调图像。5.根据权利要求4所述的系统，其中，所述在所述第i关键帧中搜索像素通过以下方式执行：模糊所述第i关键帧，以获得第i模糊图像；以及对于所述第i引导图像中的每个目标像素：在所述第i引导图像中定义围绕所述目标像素的引导块；在所述第i模糊图像中搜索与所述引导块最为匹配的模糊块，所述模糊块围绕模糊像素；以及定义关键帧像素，其中，所述第i关键帧中所述关键帧像素的坐标与所述第i模糊图像中所述模糊像素的坐标相同，用所述关键帧像素的颜色替换所述第i引导图像中所述目标像素的颜色，以获得所述第i增强引导图像。6.根据权利要求5所述的系统，其中所述目标块的尺寸范围为3
×
3像素到5
×
5像素。7.根据权利要求6所述的系统，其中，在所述第i模糊图像中的搜索区域中进行所述搜索，所述搜索区域的尺寸范围为(20～100)
×
(20～100)个像素；所述搜索区域具有中心像
素，所述第i模糊图像中所述中心像素的坐标与所述第i引导图像中所述目标像素的坐标相同。8.根据权利要求7所述的系统，其中，所述搜索区域的尺寸为50
×
50像素。9.根据权利要求1所述的系统，其中，所述计算机可执行代码用于对于所述3D模型的每个三角面，通过以下方式，将来自所述第i协调图像的颜色投影到所述3D模型，以获得所述纹理化3D模型：确定包括与所述三角面相对应区域的多个协调关键帧；确定所述三角面的法线，所述法线通过所述三角面的中心点；对于所述多个协调关键帧的每个协调关键帧：连接所述三角面的中心点与对应所述协调关键帧的相机中心，以获得连线；通过计算方向分数z1，其中，α为所述法线与所述连接线的夹角；基于所述协调关键帧中的区域和边界之间的最小距离d计算距离分数，其中，当所述最小距离大于像素阈值Th时，所述距离分数为1；当所述最小距离d等于或小于所述像素阈值时，所述距离分数为以及通过对所述方向分数和所述距离分数进行加权求和，计算总分数；以及使用所述多个协调关键帧中总分数最高的协调关键帧对所述三角面进行纹理化。10.根据权利要求9所述的系统，其中，所述像素阈值为50，所述总分数z的计算公式为：z＝0.6
×
z2+0.4
×
z2。11.根据权利要求1所述的系统，还包括：服务器计算装置，与所述计算装置通信，并用于存储所述纹理化3D模型；以及远程计算装置，与所述服务器计算装置通信，并用于在接收到来自客户的指令以拟合具有所述纹理化3D模型的产品时：检索所述纹理化3D模型，并实时为所述客户拟合所述纹理化3D模型。12.一种三维3D模型纹理化方法，包括：拍摄对象的多个图像，并将拍摄的所述多个图像传送至计算装置，其中所述多个图像包括m个关键帧，m为正整数；基于所述多个图像，构建所述对象的3D模型，并定义...

【专利技术属性】
技术研发人员：严庆安，杜锋，郭复胜，刘享军，周辉，
申请(专利权)人：京东美国科技公司，
类型：发明
国别省市：