【技术实现步骤摘要】
本专利技术属于人脸图像处理，具体涉及一种基于深度学习的左右脸对齐的方法、系统及存储介质。
技术介绍
1、在三维成像中，因为物体尺寸、形状等原因，有时候一台三维相机无法拍摄到完整的物体，这时候通常会选择使用多台三维相机协同合作，同时从不同方位、不同角度拍摄同一物体后，将不同角度下的点云合成一副完整的物体的点云。在拍摄人脸点云时，由于仅用一台三维相机无法完整成像整个脸部的点云，所以选择使用两台三维成像相机，分别拍摄人脸的左、右部分的脸部，然后将两台相机拍摄得到的左、右脸的点云通过算法合成一个完整的人脸。传统的icp算法可用于将左、右脸点云合成一个完整人脸，但是传统的icp算法需要用于配准的点的数量较多，会相当耗时。
2、人脸识别分人脸验证(face verification)和人脸确认(face identification)，前者是确定两个人是不是同一个人，即1-to-1mapping；后者是确定一个人是一群人中的某个，即1-to-manymapping。人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述可以做为人脸识别的重要特征。人脸因为五官的不同因而有了区分，所谓的特征点就是人脸上一些重要的部位，如眼角、嘴角、鼻尖、人中等，如何在图片上自动确定这些位置在哪里？按照传统的图像算法，是会去分析这些部位的图像特征的差异，比如使用梯度、laplace等方法去识别这些特征，但这种方法的鲁棒性不好，不够稳定。
>技术实现思路
1、为了克服现有技术的缺点与不足，本专利技术的目的在于提供一种基于深度学习的左右脸对齐的方法、系统及存储介质。
2、本专利技术的目的通过下述技术方案实现：
3、一种基于深度学习的左右脸对齐的方法，包括以下步骤：
4、s1、爬取多张人脸图片进行特征点标注，采用深度学习训练模型对标注好的图片进行训练得到人脸识别模型文件；
5、s2、调用人脸识别模型文件得到待识别人脸图片的特征点；
6、s3、三维成像设备获取左、右脸点云及左、右脸图片，根据步骤s2识别到的特征点通过图片与点云之间的映射关系找到对应的点云；
7、s4、利用最小二乘法计算特征点点云配准时的变换矩阵；
8、s5、将右脸点云乘以配准矩阵与左脸点云相加，得到左右脸对齐后的完整人脸点云。
9、进一步地，步骤s1具体包括如下步骤：
10、s11、从网上爬取不少于2000张不同的人脸图片，人工标注出人脸图片中的特征点；
11、s12、将标注好特征点的图片放入深度学习训练模型，采用最优化方式训练完成后得到人脸识别模型文件。
12、更进一步地，步骤s11之后、步骤s12之前还包括对人工标注出人脸图片中的特征点进行审核，以减少标注误差。
13、进一步地，所述特征点包括眼角、嘴角、鼻尖、人中、鼻翼、额头、眉心。
14、进一步地，所述特征点采用标注工具via进行标注，并保存为json格式。via提供了多种标注工具，如矩形、多边形、点、折线等，以满足不同标注任务的需求。via支持多种标注格式，包括json、csv、tsv、pascal voc xml等，使得标注数据的导出和共享更加灵活。本专利技术将标注的特征点保存为json格式的文件方便读取。
15、进一步地，所述深度学习训练模型采用tensor flow框架。
16、三维成像设备获取人脸点云时会同时获取人脸的图片，图片上的每个像素点pi都能与点云中的点pi一一对应，因此在图片上找到特征点的像素所在位置就能在点云里找到相对应的点。
17、进一步地，所述利用最小二乘法计算特征点点云配准时的变换矩阵采用如下公式：
18、plf＝a*prf，
19、其中，plf表示左脸特征点点云坐标向量矩阵；prf表示右脸特征点点云坐标向量矩阵；a表示配准的变换矩阵，是待求的未知变量；
20、
21、其中，表示右脸特征点点云坐标向量矩阵的转置，表示右脸特征点点云坐标向量矩阵乘以右脸特征点点云坐标向量矩阵的转置后求逆。
22、进一步地，所述将右脸点云乘以配准矩阵与左脸点云相加具体采用如下公式：
23、pa＝pl∪(a*pr)，
24、其中，pa表示合并后的点云，pl表示左脸点云，pr表示右脸点云，a表示配准的变换矩阵，∪表示并运算。
25、左右脸点云配准就相当于是将左右脸点云重新合成一个完整的人脸点云，这也就意味着左脸的特征点plf和右脸的特征点prf会重合，也就是最终右脸特征点的数值乘以配准矩阵后的值需要与左脸特征点的数值相等。
26、进一步地，所述方法还包括对所述三维成像设备获取左、右脸点云进行滤波，所述滤波使用去除离群点的方式进行，去除离群点的方式是计算点与周围点平均值的偏差，具体为先计算点p周围点的平均值pm，然后计算偏差e，偏差大于50％的点即为离群点，然后将这些点去掉：
27、
28、其中，表示将点云内的所有点累加求和，n表示周围点云的点的数量；
29、e＝(p-pm)/pm。
30、一种基于深度学习的左右脸对齐的系统，包括：
31、模型训练单元，用于爬取多张人脸图片进行特征点标注，再采用深度学习训练模型对标注好的图片进行训练得到人脸识别模型文件；
32、识别单元，用于调用模型训练单元训练得到的人脸识别模型文件，对待识别人脸图片获取特征点；
33、点云获取单元，三维成像设备获取左、右脸点云及左、右脸图片，根据识别单元识别到的特征点通过图片与点云之间的映射关系找到对应的点云；
34、配准单元，利用最小二乘法计算特征点点云配准时的变换矩阵，将右脸点云乘以配准矩阵与左脸点云相加，得到左右脸对齐后的完整人脸点云。
35、一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现权利要求上述基于深度学习的左右脸对齐的方法。
36、本专利技术相对于现有技术具有如下的优点及效果：
37、传统的icp算法配准需要大量的点，计算起来会相当耗时，本专利技术基于深度学习人脸识别模型的左右脸对齐方法比传统的icp算法相比，计算时所需要的点的数量较少，因而计算时耗时更短。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的左右脸对齐的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，步骤S1具体包括如下步骤：
3.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述特征点包括眼角、嘴角、鼻尖、人中、鼻翼、额头、眉心；所述特征点采用标注工具VIA进行标注，并保存为JSON格式。
4.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述深度学习训练模型采用Tensorflow框架。
5.根据权利要求2所述基于深度学习的左右脸对齐的方法，其特征在于，步骤S11之后、步骤S12之前还包括对人工标注出人脸图片中的特征点进行审核，以减少标注误差。
6.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述利用最小二乘法计算特征点点云配准时的变换矩阵采用如下公式：
7.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述将右脸点云乘以配准矩阵与左脸点云相加具体采用如下公式：
8.根据权利要求1所述基于深度
9.一种基于深度学习的左右脸对齐的系统，其特征在于，包括：
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现权利要求1-8任一项所述基于深度学习的左右脸对齐的方法。
...【技术特征摘要】
1.一种基于深度学习的左右脸对齐的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，步骤s1具体包括如下步骤：
3.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述特征点包括眼角、嘴角、鼻尖、人中、鼻翼、额头、眉心；所述特征点采用标注工具via进行标注，并保存为json格式。
4.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所述深度学习训练模型采用tensorflow框架。
5.根据权利要求2所述基于深度学习的左右脸对齐的方法，其特征在于，步骤s11之后、步骤s12之前还包括对人工标注出人脸图片中的特征点进行审核，以减少标注误差。
6.根据权利要求1所述基于深度学习的左右脸对齐的方法，其特征在于，所...
【专利技术属性】
技术研发人员：王念欧，郦轲，苏丁鹏，万进，
申请(专利权)人：深圳市宗匠科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。