基于图像深度信息的人脸样本数据增强方法及系统技术方案

本发明专利技术提供了一种基于图像深度信息的人脸样本数据增强方法及系统，包括：分别进行单目相机和双目相机标定，基于标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；基于对齐后的彩色图和深度图，生成原图的点云图；对于点云图中的每一个点，通过透视投影得到其投影后的二维坐标点，并将原彩色图中的R,G,B像素值赋予对应的投影二维坐标点，生成最终的虚拟样本。同时提供了一种相应的终端和介质。本发明专利技术可以生成任意轴任意角度的对应人脸样本，对现有样本进行增强，具有可靠性高、速度低、实用性强等特点，可以应用于现阶段大多数的人脸视觉算法中。

【技术实现步骤摘要】
基于图像深度信息的人脸样本数据增强方法及系统
本专利技术涉及计算机视觉
，具体地，涉及一种基于图像深度信息的人脸样本数据增强方法及系统。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，而人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一，其困难主要是人脸作为生物特征的特点所带来的。由于人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大。因此，在人脸检测、人脸识别、活体防伪等计算机视觉领域中，由于样本中人脸姿态的单一性无法覆盖由于脸部变化所带来的多种情况，使得模型的应用受限，模型容易出现误识别、不识别等情况，无法真正满足人脸识别的技术需求。经过检索发现：授权公告号为：CN104616284B，授权公告日为：2017年08月25日的中国专利技术专利《彩色深度相机的彩色图像到深度图像的像素级对准算法》本文档来自技高网...

【技术保护点】
1.一种基于图像深度信息的人脸样本数据增强方法，其特征在于，包括：/n对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩阵；/n对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵；/n基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；/n基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图；/n对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。/n

【技术特征摘要】
1.一种基于图像深度信息的人脸样本数据增强方法，其特征在于，包括：
对彩色相机和深度相机分别进行单目相机标定，得到每个相机的相机内参矩阵；
对彩色相机和深度相机进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵；
基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图；
基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图；
对于点云图中的每一个点，通过投影得到其投影后的二维点，并将其像素值赋予投影得到的二维点，生成最终的虚拟样本。


2.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述进行单目相机标定，包括：
通过世界坐标系与相机坐标系之间的刚性变换、相机坐标系与图像坐标系之间的透视变换、图像坐标系与像素坐标系之间的仿射变换，得到：
所述世界坐标系中的点和像素坐标系中的点的对应关系为：



其中，[xp,yp,1]T为像素坐标，[XW,YW,ZW,1]T为世界坐标，fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，由fx,fy、u0,v0以及factor组成的矩阵称之为相机内参矩阵，表示为K3*4；R3*3,T3*1分别为世界坐标系到相机坐标系的旋转矩阵和平移矩阵，称之为外参矩阵，表示为A4*4；其中：
所述相机内参矩阵的参数factor,fx,fy,u0,v0通过张氏标定法得到；
所述进行双目相机立体标定，得到双目相机中两个相机之间的位置关系参数矩阵，包括：相机之间的旋转矩阵Rir2rgb和平移矩阵Tir2rgb。


3.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述基于单目相机和双目相机标定的参数，进行彩色图和深度图的对齐，得到对齐后的彩色图和深度图，包括：
根据单目相机的相机内参矩阵和双目相机之间的位置关系参数矩阵，得到彩色相机和深度相机之间的坐标转换关系为：



其中，[xR,yR,1,1/zR]T为深度图的像素坐标，Rir2rgb为相机之间的旋转矩阵，Tir2rgb为相机之间的平移矩阵，[xL,yL,1,1/zL]T为彩色图的像素坐标，Krgb为彩色相机的相机内参矩阵，Kir为深度相机的相机内参矩阵，M为彩色相机和深度相机之间的位置关系参数矩阵；
记：



其中，C4*4为彩色相机的相机内参矩阵、深度相机的相机内参矩阵以及两个相机之间位置关系矩阵的乘积组成的矩阵；cij为该矩阵中的每个元素；
由此可得两个相机的坐标对应关系为：



彩色图和深度图的像素通过式(4)得到一一对应的关系，实现彩色图和深度图的对齐。


4.根据权利要求1所述的基于图像深度信息的人脸样本数据增强方法，其特征在于，所述基于对齐后的彩色图和深度图以及单目相机和双目相机标定的参数，生成原图的点云图，包括：
对于宽度为width、长度为height的深度图，依次遍历图中的每个点(xp,yp,Zp)，其中，(xp,yp)为位置坐标，Zp为该位置坐标处的像素值；
建立二维点与点云图中的点的对应关系；
设世界坐标系到相机坐标系的旋转矩阵R3*3为单位矩阵，世界坐标系到相机坐标系的平移矩阵T3*1为零矩阵，即相机坐标系与世界坐标系重合，则有：



将式(5)写成等式的形式可得：



其中，[xp,yp,1]T为像素坐标，(XW,YW,ZW)为点云图中的点的位置坐标，fx,fy分别为x,y轴方向上的归一化焦距，u0,v0分别为图像的中心点坐标，factor为尺度因子，Zc为深度图中世界坐标系中的点在相机坐标系下Z轴上的坐标，在深度已知的情况下，Zc即为深度图中每个点的像素值Zp；
对于深度图中的每个点(xp,yp,Zp)，得到其对应的点云图中的点的位置坐标为(XW,YW,ZW)；
将彩色图中坐标为(xp,yp)位置点的像素值(rp,gp,bp)赋予得到的点云图中的点，使得点云图中的点的像素值(Rp,Gp,Bp)采用彩色图中对应...

【专利技术属性】
技术研发人员：许亮，曹玉社，李峰，
申请(专利权)人：中科海微北京科技有限公司，
类型：发明
国别省市：北京;11