基于关键点扰动技术的人脸数据增强方法技术

本发明专利技术公开一种基于关键点扰动技术的人脸数据增强方法，该方法利用首先采用基于人脸关键点技术的人脸对齐方法，然后对关键点位置进行扰动，再分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本发明专利技术基于人脸关键点技术的人脸对齐方法，以线性变换、仿射变换、分块仿射变换进行人脸对齐，并对关键点位置进行扰动，使一张人脸图片能够生成多张人脸图片。本发明专利技术是一种能够解决人脸识别训练过程中数据不足的方法，通过一张人脸图片生成多张图片，从而增加训练量，提高人脸识别的准确率。

【技术实现步骤摘要】

本专利技术涉及的是一种人脸识别
的人脸对齐方法，具体涉及的是一种基于 关键点扰动技术的人脸数据增强方法。
技术介绍
人脸识别技术是计算机视觉的重要分支，一直以来都具有极高的学术研究价值和 广泛的市场应用前景。一个完整的人脸识别系统包含以下四种技术：人脸检测、人脸对齐、 人脸特征提取、人脸比对。而人脸特征提取是人脸识别系统中非常关键的步骤。常用的人 脸特征提取技术包括：单层人工特征、二层Encoding特征和利用深度学习方法学习出的层 次化特征。其中利用深度学习得到的高层特征因为能够表达人的眼睛颜色、嘴巴形状、性别 等更高级的语义信息，具有更强的描述能力。利用这种特征进行比对识别能够大大提高人 脸识别的识别率。因此，基于深度学习的理论已经成为2013以来最炙手可热的人脸识别理 论。2014年，Facebook在CVPR发表的论文表明其在LFW数据集上的识别率达到了 97. 25 %。 虽然深度学习有着广阔的应用前景，但进一步提升深度学习方法的人脸识别率却 存在一些难题，主要是深度学习模型的训练需要海量数据的支持，而大规模数据采集的难 度较大，同时需要耗费大量的人力和物力。对一般的科研机构而言，采集如此多的数据非常 困难。 经检索，申请号为CN201310628537. 8的中国专利技术专利，该专利技术公开了一种人脸对 齐方法，包括：步骤1)、在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人 脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；步骤2)、从所 述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；步骤3)、 对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单 独计算仿射变换，对齐到指定的脸。但是该专利技术仍旧没有解决上述训练样本量不足的 问题。
技术实现思路
本专利技术为解决上述内容中提到的训练样本量不足的问题，提供一种基于关键点扰 动技术的人脸数据增强方法，增大训练数据量，提高人脸识别的准确率。 为实现上述目的，本专利技术采用的技术方案是：本专利技术首先采用基于人脸关键点技 术的人脸对齐方法，然后对关键点位置进行扰动，再分别用线性变换、仿射变换、分块仿射 变换得到新的人脸图片。 本专利技术所述方法包括以下步骤： 第一步、对图像I(x，y)检测关键点{P(x，y)}n，并找出其中三个重要关键点位置 Pi(xi，yi)、P2(x2，y2)、P3(x3，y3); 优选地，第一步具体包括： I. 1)将彩色原图像转化成为灰度图像I (X，y); I. 2)对灰度图像I (x，y)使用基于Viola and Jones框架的人脸检测算法，找出 人脸区域图像: 1. 3)使用基于SDM的关键点检测技术，计算图像i(x,y)中人脸关键点位置{P(x， y)}n，并找出其中分别代表双眼中心位置，嘴巴中心位置的三个关键点位置P1U1, yi)、 f*2 (X2，y2)、(X3，y3) 〇 第二步、对图像I(x，y)的关键点P1 (X1, y)、P2(x2, y2)、Ρ3(χ；5, yJ进行扰动，得到新 的关键点位置 优选地，第二步具体包括： 2. 1)根据三个关键点P1U1, yi)、P2(x2, y2)、P3(x3, y3)的相对位置，确定关键点的 扰动范围{h，v}，其中h代表水平方向的扰动范围，V代表垂直方向的扰动范围； 2. 2)在扰动范围{h，V}内生成三组随机数{Pr(x，y)}3，基于此对关键点进行扰 动，得到扰动后的关键点 2. 3)重复m次扰动，得到m组新的关键点 第三步、根据扰动后关键点位置:？2(%,y2)、P 3(x3,y3)}m对图像 I (χ，y)根据传统变换定义分别进行线性变换、仿射变换、分块放射变换，得到对齐后的图 像； 优选地，第三步具体包括： 3. 1)根据扰动后的关键点·__ I和原关键点 PiUi，yi)、P2(X2, y2)、？3(X3, y3)的变换对应关系，计算相应变换矩阵； 首先设第i组关键点位置i5i(4,yi)、朽(4,>4)、巧其中i = ι，2,3..· m，为变换前图像上的点，原关键点P1 (Xl，yi)、P2 (x2, X2)、P3 (x3, y3)为变换后图像上的点，联 立方程组，计算变换矩阵d]:和。 V r ?-· · t *； ·*J '' * 求解上述方程组，得到： Λ1^2 Λ2^? ^tJfS 1 Λ3^1 1 Λ3^2 得到关于第i组关键点位置Pki,乂)的变换矩P 3. 2)根据得到的变换矩阵和线性变换的性质，对图像I (x，y)进行线性变换，得到 m张变换后的图像U1O^yMni; 使用第i组（i = 1，2,3···πι)关键点位置：）得 到的变换矩P计算线性变换后的图像/1(? y): 其中p为奇偶校验参数，可以被设置为1或者-1。 3. 3)根据得到的变换矩阵和仿射变换的性质，对图像I (x，y)进行仿射变换，得到 m张变换后的图像UaO^yMni; 使用第i组（i = 1，2,3…m)关键点位I)得到 的变换矩P计算线性变换后的图像y): 3. 4)根据得到的变换矩阵和分块仿射变换的性质，对图像I (X，y)进行分块仿射 变换，得到m张变换后的图像Upl (X，y) 首先按照人脸关键点位置{P(x，y)}n将图像I(x，y)分成N块，然后分别对每一块 图像区域尺％，y)(j = 1，2,3…N)，使用第i组（i = 1，2,3···πι)关键点位置P1OLyih丨得到的变换矩￥I，计算仿射变换后的图像区域 ^(x,y) 最后将得到的图像区域β{(Χ,3〇 (j = 1，2,3…N)组合成完整的分块仿射图像 {Ιρ? (X，y)} i〇 本专利技术的原理是，采用基于人脸关键点技术的人脸对齐方法，对关键点位置进行 扰动，然后分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本专利技术利用了基 于Viola and Jones框架的人脸检测算法和基于SDM的关键点检测技术，并根据扰动后关 键点位置分别采用线性变换、仿射变换和分块仿射变换。通过这种方式能够生成多张符合 实际应用场景要求的训练样本，大大增加训练数据量，提高人脸识别的准确率。 由于线性变换、仿射变换、分块仿射变换都是基于纯粹的2D人脸图像，不需要通 过复杂的运算就能够对人脸图像进行多姿态变换，相当于建立了一个多姿态的人脸数据 库，明显丰富了训练样本包含的信息，所以在一定程度上提高了人脸识别的准确率。 与现有技术相比，本专利技术具有以下有益效果： 本专利技术基于Viola and Jones框架的人脸检测算法和基于SDM的关键点检测技 术，对人脸关键点位置进行扰动，然后分别用线性变换、仿射变换、分块仿射变换得到新的 人脸图片，是一种能够获得符合实际应用场景的人脸图像样本的有效方法，通过扩大训练 数据量，有效地提高了人脸识别的准确率。在比较人脸识别技术性能的过程中，通过本专利技术 增加训练数据量的人脸识别算法，比如使用HG特征的人脸识别算法、使用Fisher特征的人 脸识别算法、基于深度学习的人脸识别算法等，其人脸识别的准确率与没有使用本专利技术增 加训练数据量，即用较少数据量进行训练相比，有显著的提高，本文档来自技高网...

【技术保护点】
一种基于关键点扰动技术的人脸数据增强方法，其特征在于，包括以下步骤：第一步、对图像I(x，y)检测关键点{P(x，y)}n，并找出其中分别代表双眼中心位置、嘴巴中心位置的三个重要关键点位置P1(x1，y1)、P2(x2，y2)、P3(x3，y3)；第二步、对图像I(x，y)的关键点P1(x1，y1)、P2(x2，y2)、P3(x3，y3)进行m次扰动，得到新的关键点位置第三步、根据扰动后关键点位置对图像I(x，y)依次进行线性变换、仿射变换、分块放射变换，得到对齐后的图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨小康，晏轶超，潘岑蕙，徐奕，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31