一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置制造方法及图纸

本发明专利技术公开了一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置，所述方法包括：建立通用三维人脸模型库；通过预先训练好的多任务学习深度神经网络进行人脸检测及人脸关键点信息提取；利用预先训练好的多任务学习深度神经网络进行人脸属性分析预测，结合人脸关键点数据和人脸属性信息与所述的通用三维人脸模型库进行粗配准，获得最接近实时采集的人脸通用模型。所述打印装置包括：输入单元、特征点标记单元、通用三维人脸模型库单元、人脸多属性分类单元、人脸关键点优化单元、纹理细化单元和打印输出单元。本发明专利技术具有精确度高、实现方式简单、用户友好性好、自动化程度高等优点。

A 3D face modeling method and printing device based on video stream and face multi attribute matching

The invention discloses a video stream and 3D face modeling and face printing device based on attribute matching, the method includes: establish a general 3D face model base; through multi task pre trained neural network to learn the depth of face detection and face the key points of information extraction; using multi task pre trained by the face attribute analysis and prediction of the depth of the neural network learning, combined with face key point data and face attribute information and the generic 3D face model database to obtain rough registration, face general model closest to the real-time. The printing device comprises an input unit, characteristic point marking unit, general 3D face model base unit, face classification unit, multi attribute face critical point optimization unit, texture refinement unit and print output unit. The invention has the advantages of high accuracy, simple mode of realization, good user friendliness and high automation degree.

【技术实现步骤摘要】
一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
本专利技术涉及人脸三维建模技术，特别是涉及一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置。
技术介绍
许多研究者充分利用计算机在处理图像图形方面的优良性能来模拟和演示三维人脸模型并取得了很大成就。人脸动画已经从传统的关键帧技术发展到表演驱动技术。从可视电话到游戏娱乐，从多通道用户界面到虚拟现实，到处都体现着人脸建模与动画的技术。同时，人们对利用计算机进行三维人脸建模的效果和质量要求也越来越严格，不再仅仅满足于动作僵硬、表情呆板、背景单调的三维人脸及其动画。如何提高建模精确度、丰富模型表情逼真度的技术问题，仍然是该领域的研究热点和研究者共同追求的目标。目前，关于三维人脸建模的方法主要包括如下几种：1)基于三维扫描仪的三维人脸建模；2)基于单幅人脸图像的建模；3)基于拟合或重建的技术。但是，现有的三维人脸建模技术存在以下几个问题：基于三维扫描仪的方法往往存在通用性和灵活性较差的问题，此外，其建模过程的数据量大，操作较为复杂，且其硬件设备的成本昂贵，计算复杂度过高。基于单幅人脸图像的建模方法由于计算过程复杂，从而导致运算时间过长、计算结果偏差大等不足，通常难以获得良好的建模效果。基于拟合或重建的技术一般都需要用户的配合，用户友好性较差。例如手工标记关键点、使用前进行用户注册、在建模时需保持无表情或者固定表情等，不能精确地模拟实时的用户表情；同时，外貌、姿态对表情参数精度的影响较大，导致建模精度存在一定的瓶颈。
技术实现思路
为克服现有技术的不足，本专利技术的目的在于提供一种精确度高、实现方式简单、用户友好性好、自动快速、建模结果逼真且极具个性化的三维人脸建模方法和装置。本专利技术为解决其技术问题采用的技术方案是：一种基于视频流与人脸多属性匹配的三维人脸建模方法，包括：建立通用三维人脸模型库，所述三维人脸模型库按照属性分类，所述属性包括性别、年龄、脸型；采集实时视频中的多幅正侧面人脸图像进行归一化处理，通过预先训练好的多任务学习深度神经网络进行人脸检测及人脸关键点信息提取，并结合多人脸个关键点信息对齐人脸；利用预先训练好的多任务学习深度神经网络进行人脸属性分析预测，所述属性包括性别、年龄、脸型，结合人脸关键点数据和人脸属性信息与所述的通用三维人脸模型库进行粗配准，获得最接近实时采集的人脸通用模型；采用关键点优化技术和纹理细化处理技术对粗配准的通用三维人脸模型进行微调修正，合成具有真实感的实时三维人脸视觉外观。进一步，所述建立通用三维人脸模型库，三维人脸模型库按照属性分类具体包括：利用三维扫描仪采集原始真实的三维人脸模型并进行规一化处理；对规一化人脸模型的形状和纹理分别进行主成分分析，得到形变三维人脸模型，最终由三维扫描仪采集到的原始三维人脸模型和经过形变处理的三维人脸模型构成完备的通用三维人脸模型库。对完备通用三维人脸模型库标注其对应的属性，所述属性包括性别、年龄、脸型，并根据属性对应的类别建立最终的通用三维人脸模型库。进一步，所述对完备通用三维人脸模型库标注其对应的属性具体包括：以性别细分为男、女两项；以年龄段为分类项，共设为儿童、少年、青年、中年、老年5大类，其中儿童时期细分为0-3、4-6岁，少年时期细分为7-12、13-17岁，青年时期细分为18-25、26-40岁，中年时期细分为41-50、51-65岁，老年时期为66岁以上；以脸型为分类项，将每个年龄段分为多种脸型，分别是椭圆脸型、长脸型、四方脸型、倒三角型、菱形脸型、三角脸型、圆脸型。进一步，所述人脸关键点包括：脸部轮廓、眼角点、眉间点、鼻下点、颌下点、嘴角点。进一步，所述多任务学习深度神经网络的训练过程具体包括：采集标准人脸图像并标注其对应的多个属性的类别，形成一个完备的训练数据集合；同时进行人脸检测以及人脸关键点定位，并结合多个关键点坐标信息准确对齐人脸；对标注类别中的属性进行编码；构造深度神经网络；利用训练数据集合，训练深度神经网络，最终通过大量训练获得多任务学习深度神经网络模型。进一步，所述深度神经网络依次包括：输入层、卷积层、非线性层、池化层、二次卷积层、混合卷积层、多属性分类层、输出层；所述卷积层、非线性层、池化层、二次卷积层分别设置有一个或者一个以上，卷积层的输出作为非线性层或者池化层或者二次卷积层的输入，非线性层的输出作为下一个卷积层的输入；二次卷积层和池化层的输出作为混合卷积层的输入；混合卷积层的输出作为多属性分类层的输入；多属性分类层的输出连接输出层，最终输出分类结果。进一步，所述采用关键点优化技术具体包括：首先构造所述人脸关键点信息组合向量A＝{xc1,xc2,xc3…xcn}，其中xci(i＝1,2,3…n)表示所述的关键点信息的第i种信息子向量；然后通过凸优化目标函数得到最优解使得所对齐的人脸关键点参数误差最小；其中，优化目标函数的约束条件为：θi≥0,∑θi＝1；表示所对齐的关键点和目标关键点之间的偏差，x为所述的关键点信息任意一种信息子向量，符号minθ表示关于求θ极小值，符号||||表示关于求范数；最后根据最优解对所匹配获得的通用三维人脸模型进行人脸关键点精确对齐。进一步，所述的纹理细化处理技术，具体包括：首先计算人脸纹理的有效区域，在纹理图像上，如果一个像素所对应的顶点在图像上的投影坐标位于人脸轮廓之内，并且该顶点在投影角度下是可见的，则相应的像素就位于人脸纹理的有效区域内；计算每个像素处的位置确定度p，将位置确定度作为代价函数中该像素处的权重，位置确定度定义为投影方向与顶点的法向量之间夹角的余弦；为重建的三维人脸模型加入两个光照，分别位于三维人脸模型的左前方和右前方各45度，光照的位置固定且强度可变；以形状无关纹理SIFT为拟合的目标图像，以人脸形变模型的纹理分量合成人脸纹理S1；将代价函数Eξ设置为合成的纹理图像与目标图像之间的偏差，代价函数在纹理的有效区域内进行计算，通过目标函数Eξ>0利用梯度下降法将求得代价函数最小值，然后得到合成的纹理图像S；选取一个纹理融合的优化系数I，将合成的人脸纹理图像S与形状无关纹理SIFT进行融合，取出形状无关纹理的中心区域补充到合成的纹理图像上，以补充人脸的细节，得到最终融合后的纹理R，其中R＝I·SIFT+(1-I)·S。本专利技术还提供了一种基于视频流与人脸多属性匹配的三维人脸建模打印装置，包括：输入单元，用于获取实时视频流中的原始人脸图像；特征点标记单元，用于在所述原始人像上标记特征点并记录其坐标信息；通用三维人脸模型库单元，存储有通用三维人脸模型库离线包；人脸多属性分类单元，用于通过对多个人脸属性任务进行联合训练，用一个深度网络同时完成多个人脸属性目标分类任务，包括进行人脸检测、人脸关键点信息提取以及人脸多属性分析预测；人脸关键点优化单元，用于提取原始人像上标记特征点及坐标信息，采用凸优化方法进行人脸关键点优化和人脸精准对齐；人脸纹理细化单元，对初步获取的通用三维人脸模型进行纹理细化；打印输出单元，用于输出显示并打印建模结果。本专利技术的有益效果是：具有精确度高、实现方式简单、用户友好性好、自动化程度高等优点，能够更直观、完整地获得人脸的正面纹理信息、深度信息等，从而有利于建立起更加细腻逼真、快速精本文档来自技高网...

【技术保护点】
一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，包括：建立通用三维人脸模型库，所述三维人脸模型库按照属性分类，所述属性包括性别、年龄、脸型；采集实时视频中的多幅正侧面人脸图像进行归一化处理，通过预先训练好的多任务学习深度神经网络进行人脸检测及人脸关键点信息提取，并结合多人脸个关键点信息对齐人脸；利用预先训练好的多任务学习深度神经网络进行人脸属性分析预测，所述属性包括性别、年龄、脸型，结合人脸关键点数据和人脸属性信息与所述的通用三维人脸模型库进行粗配准，获得最接近实时采集的人脸通用模型；采用关键点优化技术和纹理细化处理技术对粗配准的通用三维人脸模型进行微调修正，合成具有真实感的实时三维人脸视觉外观。

【技术特征摘要】
1.一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，包括：建立通用三维人脸模型库，所述三维人脸模型库按照属性分类，所述属性包括性别、年龄、脸型；采集实时视频中的多幅正侧面人脸图像进行归一化处理，通过预先训练好的多任务学习深度神经网络进行人脸检测及人脸关键点信息提取，并结合多人脸个关键点信息对齐人脸；利用预先训练好的多任务学习深度神经网络进行人脸属性分析预测，所述属性包括性别、年龄、脸型，结合人脸关键点数据和人脸属性信息与所述的通用三维人脸模型库进行粗配准，获得最接近实时采集的人脸通用模型；采用关键点优化技术和纹理细化处理技术对粗配准的通用三维人脸模型进行微调修正，合成具有真实感的实时三维人脸视觉外观。2.根据权利要求1所述的一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，所述建立通用三维人脸模型库，三维人脸模型库按照属性分类具体包括：利用三维扫描仪采集原始真实的三维人脸模型并进行规一化处理；对规一化人脸模型的形状和纹理分别进行主成分分析，得到形变三维人脸模型，最终由三维扫描仪采集到的原始三维人脸模型和经过形变处理的三维人脸模型构成完备的通用三维人脸模型库。对完备通用三维人脸模型库标注其对应的属性，所述属性包括性别、年龄、脸型，并根据属性对应的类别建立最终的通用三维人脸模型库。3.根据权利要求2所述的一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，所述对完备通用三维人脸模型库标注其对应的属性具体包括：以性别细分为男、女两项；以年龄段为分类项，共设为儿童、少年、青年、中年、老年5大类，其中儿童时期细分为0-3、4-6岁，少年时期细分为7-12、13-17岁，青年时期细分为18-25、26-40岁，中年时期细分为41-50、51-65岁，老年时期为66岁以上；以脸型为分类项，将每个年龄段分为多种脸型，分别是椭圆脸型、长脸型、四方脸型、倒三角型、菱形脸型、三角脸型、圆脸型。4.根据权利要求1所述的一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，所述人脸关键点包括：脸部轮廓、眼角点、眉间点、鼻下点、颌下点、嘴角点。5.根据权利要求1所述的一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，所述多任务学习深度神经网络的训练过程具体包括：采集标准人脸图像并标注其对应的多个属性的类别，形成一个完备的训练数据集合；同时进行人脸检测以及人脸关键点定位，并结合多个关键点坐标信息准确对齐人脸；对标注类别中的属性进行编码；构造深度神经网络；利用训练数据集合，训练深度神经网络，最终通过大量训练获得多任务学习深度神经网络模型。6.根据权利要求5所述的一种基于视频流与人脸多属性匹配的三维人脸建模方法，其特征在于，所述深度神经网络依次包括：输入层、卷积层、非线性层、池化层、二次卷积层、混合卷积层、多属性分类层、输出层；所述卷积层、非线性层、池化层、二次卷积层分别设置有一个或者...

【专利技术属性】
技术研发人员：翟懿奎，徐颖，甘俊英，应自炉，曾军英，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东,44