一种从头肩的三维扫描原始数据中自动提取脸部区域的方法技术

本发明专利技术公开了一种从头肩的三维扫描原始数据中自动提取脸部区域的方法，其步骤如下：（１）．三维人脸的曲面重构：采用子分网格方法，对原始的三维头肩数据构建分段光滑的三角形网格曲面；（２）．高斯曲率的计算：在曲面重构得到的三角形网格数据上计算每个顶点的离散高斯曲率；（３）．人脸区域提取。本发明专利技术有益的效果是可以从头肩的三维数据中自动地、准确地切割出脸部核心区域。

【技术实现步骤摘要】

本专利技术涉及一种头肩三维扫描原始数据中脸部区域的自动提取方法， 尤其涉及一种以高斯曲率和连通片搜索组合为核心技术、从三维扫描原始 数据中自动地提取脸部核心区域的方法。
技术介绍
随着三维采集技术的发展，三维数据正逐渐成为继声音、图像和视频 之后的第四种多々某体数据类型，特别是三维人脸模型，在互联网、家庭娱 乐、计算机动画、影视娱乐和安全监控等方面具有广泛的应用前景。大部 分应用需要的三维人脸数据是正面人脸的核心区域。但是，现有的三维人脸数据采集设备获取的人脸数据不仅包含人脸正 面区域，还包含除人脸之外的周边区域，如颈部、肩部、头发等区域。这 些区域形状不稳定，属于局外的干扰信息，影响大多数应用的效果和准确 性。采用人工方法去除局外信息会导致应用无法自动化，在某些情况下缺 乏实用性(如安全监控中的人脸识别)。已有的自动切割技术要求二维图 像的协助，难以直接用于三维人脸模型。
技术实现思路
本专利技术提供一种基于曲率和连通片搜索的、全自动的脸部区域提取方 法，主要解决的是大型三维人脸应用中头肩三维扫描原始数据的自动预处 理问题。 ，其步骤 如下4(1) 、三维人脸的曲面重构采用子分网格的思想，对原始的三维头 肩数据(坐标点集)构建分段光滑的三角形网格曲面；(2) 、高斯曲率的计算在曲面重构得到的三角形网格数据上计算每 个顶点的离散高斯曲率；(3) 、人脸区域提取(这一步分三个小步骤完成) 首先是连通片的计算基于第2步计算的高斯曲率，按一定的阈值将原始三维人脸数据分割成多个连通片；其次是粗略的人脸区域选择在分割的连通片中，按一定规则选择包 含人脸核心区域最大的连通片作为人脸区域的粗略计算结果；最后是人脸区域的精确提取借助粗略选择的连通片和原始的三维人 脸数据，切割出精确的脸部核心区域。步骤(1 )中所述的子分网格的方法，包括网格拓朴估计、网格优化 和分段光滑曲面优化三步骤。步骤(2)中采用的高斯曲率的计算方法是对连续曲面上高斯曲率的 计算的一个近似，釆用下面的公式<formula>formula see original document page 5</formula>步骤(3)中将原始三维人脸数据分割成多个连通片时，根据的是网 格的1环邻居关系进行连通关系的拓展。步骤(3)中，所述的阀值取的是所有网格顶点的平均高斯曲率。 步骤(3)中脸部区域的粗略选择规则需要计算三个量r&(右上点)、 ^^(左下点)和S戶 ，其计算所用公式如下7T^(x，y，z) = (max(A0)),max(/7,O))，max/ ,(z)))A^祝 (3)5丄Jx,少,z) = (min(/ ,0)),minO,(力)，min(p,(z)))p^ (4) "m=|77 m-5i:m| (5)粗略选择规则是若S/7fl"^ 2 A,S戸"^ 2决6,则选5^"较小的作为脸部区域，否则选择较大的作为脸部区域。步骤(3)中脸部区域的粗略选择中化的值取为180。步骤(3)中脸部区域精确提取时所用的切割半径为选出的粗略连通片的重心至集合中距重心最远点的距离。头肩的三维数据中脸部区域切割的问题可以定义如下给定一个初始三维头肩的数据尸={/^}，其中/;,=",乂,2,}是第/点的三维坐标，假设没有 任何关于原始数据P的姿态和方向的信息，如何自动地提取P的一个子集,{p,'}，该子集^又包含正面人脸的区域。要正确辨别人脸区域，需要对人脸曲面的性质进行分析和统计。曲率 表达了曲面的内在特性，而且其度量与曲面的方向无关，非常适合用来分 析曲面的特征。由于曲率只对曲面而言才有意义，对坐标点集合无意义， 我们拟从尸中重构三维曲面，然后计算曲面上每点的高斯曲率，通过分析 该曲面高斯曲率的分布状况来寻求提取人脸区域的方法。直观上讲，尽管人脸区域因眼、鼻、嘴及眼眶造成曲面形状比较复杂， 但是仔细观察从额头向头发走向、从脸颊向两侧走向和从下巴向颈部走 向，这三个方向的共同特点是曲面形状有一个从平坦到弯曲的变化过程。 高斯曲率是衡量这种变化趋势很好的度量。因此，首先从P中重构曲面信 息，在重构的表面上计算每个顶点的曲率；然后根据曲率的大小将数据分割成不同的连通片，再从连通片中搜索包含最大的正面人脸的区域，最后 对最大的正面人脸连通片进行调整得到准确的脸部区域结果。本专利技术有益的效果是可以从头肩的三维数据中自动地、准确地切割出 脸部核心区域。附图说明图1是本专利技术的脸部区域提取的流程图；图2是本专利技术的三维头肩的数据和对应的曲面重构结果；图3是本专利技术的高斯曲率计算结果；图4是本专利技术的连通片的计算结果；图5是本专利技术的脸部区域提取结果；具体实施例方式头肩的数据中脸部区域自动提取如图1所示，具体步骤如下 1、曲面重构曲面重构的目的是从三维坐标点集合包含的信息中重建表面的信息， 我们的方法采用子分网格的思想，重构三角形网格，主要分为三个步骤(1) 估计原曲面的拓朴结构。这一步首先确定模型几何的一个初始估 计，构建一个规模较大、顶点个数较多的网格，以初步确定模型的拓 朴。(2) 网格优化。采用网格优化技术减少上一步构建网格的顶点和三角形 数目，整个过程通过优化能量函数以平衡顶点、三角形数目和与原曲 面拟合的程度之间的关系。优化过程中能量函数的自由变量包含顶点个数、连接关系和顶点的位置。(3)分段光滑曲面优化。这一步的工作基于第二步的优化结果，其本身 也是一个优化过程。它改变顶点数量、连接关系、位置和尖锐特征的 数量和位置。这一步的优化还实现对尖锐特征的自动检测和恢复。如 图2，重构后的曲面。2、 高斯曲率的计算在连续曲面上，设曲面上单连通区域D的边界如是分段光滑的闭曲线， 即如-qUCV..UCn,每个C,是光滑的，设^是3D的顶点外角，高斯曲率 采用式(l)来计算。J"+J s + 2>,=2;r (1) 其中K是任意点的高斯曲率，、是边界的测地曲率。 经曲面重构后的三维头肩的数据，其数据表现方式为三维网格，其主 要的元素包含三维坐标点的集合和用三角形表示的集合中点的连接关系， 包括边和三角形面片。给定网格中的 一个顶点v和它的邻接顶点集{v,. KJ ， 对/ = 0..."-1，令",=^"(,+1)% 是顶点"的两条连续边6 =w,，a+1 =vv(,+1)% 张成的 夹角，％是求模运算符，离散情况下(1)式可以转化为(2)式。0扁=2" —(2) 其中^是邻接顶点v的力三角形的总面积，在v的小邻域内，《是保持近 似不变，可以作为顶点v的高斯曲率的估计w-l"广 (3) 3按(3)计算的高斯曲率较好地表达了网格曲面的特征信息，部分结果如 图(3)所示，红色区域表示曲率较小，蓝色区域曲率较大。3、 脸部区域自动提取有了高斯曲率的计算结果，我们通过以下三步完成人脸区域的自动提取。(1) 连通片的计算从图(3)可见，人脸区域的周边区域具有较高的曲率值，中间区域具有 较低的曲率值，我们通过设定一个阈值，将原始数据的不同区域分割开来。 得益于曲面重建后的三维头肩的数据包含的拓朴信息，我们的连通片增长 方法利用拓朴信息中的邻接关系进行区域延拓。令M=(VM，KM,CM)表示三 角化的人脸网格，其中CM={Ct}是网格的顶点集合，KM表示网本文档来自技高网...

【技术保护点】
一种从头肩的三维扫描原始数据中自动提取脸部区域的方法，其步骤如下：（１）、三维人脸的曲面重构：采用子分网格的思想，对原始的三维头肩数据构建分段光滑的三角形网格曲面；（２）、高斯曲率的计算：在曲面重构得到的三角形网格数据上计算 每个顶点的离散高斯曲率；（３）、人脸区域提取：连通片的计算：基于步骤（２）计算的高斯曲率，按一定的阈值将步骤（１）中得到的网格分割成多个连通片；粗略的人脸区域选择：从分割的连通片中，按一定规则选择包含人脸核心区域最大 的连通片作为人脸区域的粗略选择结果；人脸区域的精确提取：借助粗略选择的连通片和原始的三维人脸数据，切割出精确的脸部核心区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：潘纲，王跃明，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]