一种基于单视角的人脸三维轮廓特征重建装置及重建方法制造方法及图纸

本发明专利技术属于人脸三维重建和计算机视觉技术领域，具体地说，涉及一种基于单视角的人脸三维轮廓特征重建装置及重建方法，该装置包括：参数获取模块，用于获取汇集后的平面图像和深度数据；人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；数据筛选模块，用于筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；人脸轮廓重建模块，用于通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，建立刚体深度信息与物理轮廓匹配模型。与物理轮廓匹配模型。与物理轮廓匹配模型。

【技术实现步骤摘要】
一种基于单视角的人脸三维轮廓特征重建装置及重建方法


[0001]本专利技术属于人脸三维重建和计算机视觉
，具体地说，涉及一种基于单视角的人脸三维轮廓特征重建装置及重建方法。

技术介绍

[0002]人脸三维重建是计算机视觉和图形学里的一项核心技术，在人脸识别、安防、智能支付、电影动画、机器人技术等领域有广泛需求。人脸三维重建技术可分为基于单视角人脸重建技术和基于多视角人脸重建技术，重建方式上可分为稠密点云重建和稀疏点云重建。
[0003]现有的人脸三维重建方法通常采用稀疏点云重建方式的多视角人脸重建方法，对算力和设备要求极高，无法在手机等移动端实现；
[0004]此外，现有的方法中还采用深度摄像头的单视角人脸重建方法，其基本原理是：传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来；但是，现有的单视角人脸三维重建方法只能通过深度摄像头生成深度数据，无法将其与二维图像数据合成包含真实物理数据的三维数据；同时现有的神经网络在三维人脸重建中的应用，会出现尺度丢失的问题，使得神经网络算法学习到的重构图像只能保留视觉信息，而尺度信息无法被神经网络保留，以致无法准确的描述出人脸三维轮廓特征；同时，人脸轮廓数据是敏感数据，在使用过程无法确保数据库的保密性，造成人脸轮廓数据中的关键数据被窃取。

技术实现思路

[0005]为解决现有技术存在的上述缺陷，本专利技术提出了一种基于单视角的人脸三维轮廓特征重建装置，该装置包括：参数获取模块、人脸特征数据库、数据筛选模块、人脸轮廓特征点提取模块和人脸轮廓重建模块；
[0006]所述参数获取模块，用于根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；
[0007]所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；
[0008]所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；
[0009]所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；
[0010]所述人脸轮廓重建模块，用于将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹
配模型，完成人脸三维轮廓特征重建。
[0011]作为上述技术方案的改进之一，所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。
[0012]作为上述技术方案的改进之一，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；
[0013]深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；
[0014]所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据，并将其发送至处理器；
[0015]所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据，并将其发送至处理器；
[0016]所述处理器将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；
[0017]所述存储器，用于存储汇集后的平面图像和深度数据。
[0018]作为上述技术方案的改进之一，所述深度神经网络模型为高分辨率网络。
[0019]作为上述技术方案的改进之一，所述深度神经网络模型的训练步骤为：
[0020]步骤1)建立训练集；所述训练集包含若干组训练数据，每组训练数据为汇集后的平面图像和深度数据，其包含人脸平面图像和对应的标注特征点位置的热力图Ypre；
[0021]步骤2)将一组训练数据中的人脸平面图像输入至深度神经网络模型，提取出特征点所在位置的热力图Y
shape
；
[0022]训练过程采用的是均方差损失函数Loss
MSE
来进行监督学习；
[0023]具体方程为：均方差损失函数Loss
MSE
输出值Loss
shape
满足下式：
[0024]Loss
shape
＝Loss
MSE
(Y
pre
‑
Y
shape
)
[0025]其中，Y
pre
为训练集中的标注特征点位置热力图；Y
shape
为训练后输出的特征点所在位置的热力图；
[0026]步骤3)通过多次迭代训练，得到最小Loss
shape
的对应参数，输出训练好的深度神经网络模型；
[0027]步骤4)通过预训练好的深度神经网络模型，输入实时获取的新的人脸平面图像，输出对应的特征点所在位置的热力图，通过取热力图的中心点位，可得到输入平面图像的特征点。
[0028]作为上述技术方案的改进之一，所述人脸轮廓重建模块的具体过程为：
[0029]步骤1)从待核函数矩阵中获取基函数f(a,b)和采样频率k,定义函数曲线g(a,b)为基函数f(a,b)的路径积分；
[0030]其中，a为任意两个人脸轮廓关键特征点的起始点的二维坐标；b为任意两个人脸三维轮廓关键特征点的终止点的二维坐标，每个a,b之间定义n条基函数；
[0031][0032]其中,p为输入数据的维度，其中，输入数据为人脸三维轮廓关键特征点；
[0033]遍历计算n条基函数，求得基于起始点a，终止点b的n条函数曲线g(a，b)，通过对每条函数曲线进行k次采样，获得和关键特征点关联的n条离散曲线g
i
(a，b)；
[0034]步骤2)基于每条和关键特征点关联的离散曲线g
i
(a，b)，生成一个和关键特征点关联的离散函数K(a，b)：
[0035][0036]其中，C
i
是0和1之间已知参数；
[0037]步骤3)定义深度方程D(x,y)＝d,该深度方程的输入为平面图像数据(x,y)和深度数据d中的二维坐标，用来标记平面图像数据和深度数据的像素点相对于图像的位置，输出为深度数据d；
[0038]基于和关键特征点关联的离散函数K(a,b)，带入起始点a和终止点b的坐标值，计算一条离散特征曲线来表示起始点a到终止点b之间的轮廓，然后将K(a,b)带入D方程中，得到D(K(a,b))＝d；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单视角的人脸三维轮廓特征重建装置，其特征在于，该装置包括：参数获取模块、人脸特征数据库、数据筛选模块、人脸轮廓特征点提取模块和人脸轮廓重建模块；所述参数获取模块，用于根据实时获取的获取待人脸三维重建所需要的深度图像数据和平面图像数据，获取汇集后的平面图像和深度数据；所述人脸特征数据库，用于存储待人脸三维重建的特定类型特征向量、待核函数矩阵和对应类型的待标准矩阵；所述数据筛选模块，用于根据人脸特征数据库，筛选待人脸三维重建所需要的待核函数矩阵和对应的待标准矩阵；所述人脸轮廓特征点提取模块，用于将汇集后的平面图像和深度数据，输入至预先建立的深度神经网络模型，提取待人脸三维重建的轮廓关键特征点；所述人脸轮廓重建模块，用于将待人脸三维重建的轮廓关键特征点与数据筛选模块输出的待核函数矩阵通过路径积分方法融合，获得人脸轮廓数据；再根据人脸轮廓数据与标准矩阵，计算实值矩阵；再根据实值矩阵与待标准矩阵取均值，作为新标准矩阵，替换待标准矩阵，得到新标准矩阵，并存储至人脸特征数据库，建立刚体深度信息与物理轮廓匹配模型，完成人脸三维轮廓特征重建。2.根据权利要求1所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述装置还包括：加密模块，用于采用信息熵加密算法，对实值矩阵进行加密，得到加密后的实值矩阵，作为用户可以获取得到的实际人脸轮廓数据。3.根据权利要求1所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述参数获取模块进一步包括：深度图像摄像头、平面图像摄像头、处理器和存储器；深度图像摄像头通信连接至处理器，平面图像摄像头通信连接至处理器，储存器通信连接至处理器；所述深度图像摄像头，用于实时获取待人脸三维重建所需要的深度图像数据，并将其发送至处理器；所述平面图像摄像头，用于实时获取待人脸三维重建所需要的平面图像数据，并将其发送至处理器；所述处理器将接收到的深度图像数据和平面图像数据按预定格式汇集后，得到汇集后的平面图像和深度数据，并将其发送到存储器；所述存储器，用于存储汇集后的平面图像和深度数据。4.根据权利要求1所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述深度神经网络模型为高分辨率网络。5.根据权利要求4所述的基于单视角的人脸三维轮廓特征重建装置，其特征在于，所述深度神经网络模型的训练步骤为：步骤1)建立训练集；所述训练集包含若干组训练数据，每组训练数据为汇集后的平面图像和深度数据，其包含人脸平面图像和对应的标注特征点位置的热力图Y
pre
；步骤2)将一组训练数据中的人脸平面图像输入至深度神经网络模型，提取出特征点所在位置的热力图Y
shape
；训练过程采用的是均方差损失函数Loss
MSE
来进行监督学习；具体方程为：均方差损失函数Loss
MSE
输出值Loss
shape
满足下式：
Loss
shape
＝Loss
MSE
(Y
pre
‑
Y
shape
)其中，Y
pre
为训练集中的标注特征点位置热力图；Y
shape
为训练后输出的特征点所在位置的热力图；步骤3)通过多次迭代训练，得到最小Loss
shape
的对应参数，输出训练好的深度神经网络模型；步骤4)通过预训练好的深度神经网络模型，输入实时获取的新的人脸平面图像，输出对应的特征点所在位置的热力图，通过取热力图的中心点位，可得到输入平面图像的特征点。6.根据权利要求1所述的基于单视角的人脸三维轮...

【专利技术属性】
技术研发人员：娄浩哲，占梓桐，
申请(专利权)人：占梓桐，
类型：发明
国别省市：