一种基于直方图匹配的三维模型无缝纹理贴图方法技术

本发明专利技术提供了一种三维模型构建过程中纹理贴图的方法，通过获取三角面格网数据对应的原始图像及其坐标；重建模型三角面的可见性分析；根据三角面的可见原始图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考纹理贴片；纹理贴片自动排序生成纹理图像；以一个三角面的纹理贴片的直方图为基准，对相邻三角面的纹理贴片，进行直方图匹配，并更改相邻三角面的纹理贴片的像素灰度值；对所有三角面的纹理贴片与其相邻三角面的纹理贴片进行步骤5；加权融合生成整个纹理图像的像素。首次针对体积有限的目标物围绕式采集的方案，提出了通过直方图匹配方式提高贴图精度、减少运算时间。

A seamless texture mapping method of 3D model based on histogram matching

【技术实现步骤摘要】
一种基于直方图匹配的三维模型无缝纹理贴图方法
本专利技术涉及形貌测量
，特别涉及3D形貌测量

技术介绍
在进行3D测量，利用3D测量数据进行加工制造，或是利用3D数据进行展示、识别时，首先应当为目标物建立具有较为准确的3D模型。目前常用的方法包括使用机器视觉的方式，采集物体不同角度的图片，并将这些图片匹配拼接形成3D模型。这些3D模型可以看作是现实事物的数据化，利用这些数据可以加工制造与目标物相匹配的配套物。例如可以采集人体脚部3D数据从而制造更为合适的鞋子。另外，这些数据也可以用来进行身份的验证。例如合成人体虹膜3D模型后可作为身份标准数据，在使用时再次采集虹膜3D数据，与标准数据进行比对，即可识别身份。但是无论是工厂制造还是交易识别，对3D模型的合成速度和精度要求都比较高，否则将带来客户体验的极大劣化。目前常见的三维建模方法包括采用相机拍摄多个角度图片，在进行图片匹配，从而得到三维点云数据，再进行纹理贴图即可得到目标物的三维模型。然而由于拍照时间的不同、不同视角的照片存在光照以及色彩差异、图像像素与模型顶点并不是严格对齐，人脸三维模型存在一定误差等原因，同时一个顶点对应着多幅图像的像素，如何全自动快速、高精度的生成纹理图像、消除纹理的色彩差异是人脸自动三维合成的一个难点。除此之外，合成速度和合成精度在某种程度上是一对矛盾，合成速度的提高会导致最终3D合成精度下降；要提高3D合成精度则需要降低合成速度，通过更多的图片来合成。首先，现有技术中没有能够较好地同时提高合成速度和合成效果的算法。其次，通常认为采集和合成是两个过程，互不影响，并没有统一考虑。这影响了3D合成建模的效率无法兼顾提高合成速度和合成的精度。最后，在现有技术中，也曾提出使用包括转动角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：除非有精确量角装置，否则用户对角度并不敏感，难以准确确定角度；目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。因此，目前急需解决以下技术问题：①能够打破算法优化偏见，并不进行通用算法的优化，而是针对贴图方法进行优化，提高模型精度和合成速度；②算法能够和采集图像的方法相互配合从而同时提高合成速度和合成精度。③消除光照、色彩等外部因素影响，提高算法适应性。
技术实现思路
鉴于上述问题，提出了本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种三维模型构建过程中纹理贴图的方法。本专利技术一方面提供了一种三维模型构建过程中纹理贴图的方法，步骤1：获取三角面格网数据对应的原始图像及其坐标；步骤2：利用原始图像的标定信息计算每个三角面的可见原始图像集以及最优参考的原始图像；步骤3：根据三角面的可见原始图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考纹理贴片；步骤4：纹理贴片自动排序生成纹理图像；步骤5：以一个三角面的纹理贴片的直方图为基准，对相邻三角面的纹理贴片，进行直方图匹配，并更改相邻三角面的纹理贴片的像素灰度值；步骤6：对所有三角面的纹理贴片与其相邻三角面的纹理贴片进行步骤5；步骤7：加权融合生成整个纹理图像的像素。在可选的实施例中，步骤5中，直方图匹配包括：1)列出A图像灰度级ra,列出B图像灰度级rb；2)统计A图像各灰度级像素数na,统计B图像各灰度级像素数nb；3)计算A图像与B图像直方图各概率分别为：Pa＝na/N，Pb＝nb/N1，N与N1为A图像与B图像的像素总数；4)计算A图像与B图像累计直方图分别为：sa＝Σpa，sb＝Σpb；5)A图像与B图像累计直方图匹配得到一个最接近的输出灰度级；逐个进行之后，就得到了A图像直方图到B图像直方图的灰度映射关系；6)最后利用映射关系对A图像逐个像素进行映射，得到A1图像。在可选的实施例中，步骤7中，加权考虑以下三个因素:顶点的法线方向、视点距离以及顶点的像素投影位置。在可选的实施例中，两个图像相邻的采集位置的距离为：其中L为在相邻两个采集位置时图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数。在可选的实施例中，δ＜0.603；优选δ＜0.498，δ＜0.356，δ＜0.311。在可选的实施例中，步骤7中的加权包括：顶点指向图像视点的方向与顶点坐标法线夹角角度加权，和/或顶点指向图像视点的深度信息与整个模型的深度范围进行加权，和/或顶点反投影到视点图像位置到图像主点中心的距离加权。在可选的实施例中，在步骤1前进行目标物3D模型构建。本专利技术的另一方面提供了一种利用三维模型数据进行实体物生成方法，包括如上述权利要求所述的匹配方法。本专利技术的第三方面提供了一种三维模型构建方法，包括如上述权利要求所述的匹配方法。本专利技术的第四方面提供了一种三维数据比对方法，包括如上述权利要求所述的匹配方法。专利技术点及技术效果1、首次针对体积有限的目标物围绕式采集的方案，提出了通过直方图匹配方式提高贴图精度、减少运算时间。2、通过优化相机采集图片的位置的方式来和优化的算法相互配合一起提高合成速度和合成精度。并且优化位置时，无需测量角度，无需测量目标尺寸，适用性更强。3、通过相邻纹理照片进行直方图匹配，更改图像灰度值的方式，保证图片色调一致，提高三维模型构建贴图效果，实现无缝贴图。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本专利技术实施例中人脸三维模型无缝纹理贴图方法的流程图；图2为本专利技术实施例采集设备的转动结构实现方式的示意图；图3为本专利技术实施例采集设备的转动结构另一种实现方式的示意图；图4为本专利技术实施例采集设备的平动结构实现方式的示意图；图5为本专利技术实施例采集设备的无规则运动结构实现方式的示意图；图6为本专利技术实施例采集设备的多相机实现方式的示意图；附图标记与各部件的对应关系为：1载物台，2转动装置，3转动臂，4图像采集装置。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。3D合成方法流程...

【技术保护点】
1.一种三维模型构建过程中纹理贴图的方法，其特征在于：/n步骤1：获取三角面格网数据对应的原始图像及其坐标；/n步骤2：利用原始图像的标定信息计算每个三角面的可见原始图像集以及最优参考的原始图像；/n步骤3：根据三角面的可见原始图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考纹理贴片；/n步骤4：纹理贴片自动排序生成纹理图像；/n步骤5：以一个三角面的纹理贴片的直方图为基准，对相邻三角面的纹理贴片，进行直方图匹配，并更改相邻三角面的纹理贴片的像素灰度值；/n步骤6：对所有三角面的纹理贴片与其相邻三角面的纹理贴片进行步骤5；/n步骤7：加权融合生成整个纹理图像的像素。/n

【技术特征摘要】
1.一种三维模型构建过程中纹理贴图的方法，其特征在于：
步骤1：获取三角面格网数据对应的原始图像及其坐标；
步骤2：利用原始图像的标定信息计算每个三角面的可见原始图像集以及最优参考的原始图像；
步骤3：根据三角面的可见原始图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考纹理贴片；
步骤4：纹理贴片自动排序生成纹理图像；
步骤5：以一个三角面的纹理贴片的直方图为基准，对相邻三角面的纹理贴片，进行直方图匹配，并更改相邻三角面的纹理贴片的像素灰度值；
步骤6：对所有三角面的纹理贴片与其相邻三角面的纹理贴片进行步骤5；
步骤7：加权融合生成整个纹理图像的像素。


2.如权利要求1所述方法，其特征在于：步骤5中，直方图匹配包括：
1)列出A图像灰度级ra,列出B图像灰度级rb；
2)统计A图像各灰度级像素数na,统计B图像各灰度级像素数nb；
3)计算A图像与B图像直方图各概率分别为：Pa＝na/N，Pb＝nb/N1，N与N1为A图像与B图像的像素总数；
4)计算A图像与B图像累计直方图分别为：sa＝Σpa,sb＝Σpb；
5)A图像与B图像累计直方图匹配得到一个最接近的输出灰度级；逐个进行之后，就得到了A图像直方图到B图像直方图的灰度映射关系；
6)最后利用映射关系对A图像逐个像素进行映射，得到A1图像。<...

【专利技术属性】
技术研发人员：左忠斌，左达宇，
申请(专利权)人：天目爱视北京科技有限公司，
类型：发明
国别省市：北京;11