人脸关键点数据增强方法、装置、系统以及模型训练方法制造方法及图纸

本发明专利技术属于人脸识别技术领域，提供一种人脸关键点数据增强方法、装置、系统以及模型训练方法，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。

Face key point data enhancement method, device, system and model training method

【技术实现步骤摘要】
人脸关键点数据增强方法、装置、系统以及模型训练方法
本专利技术涉及人脸识别
，具体而言涉及一种基于局部仿射变换的人脸关键点数据增强方法、装置、系统以及训练人脸关键点检测模型的方法。
技术介绍
训练人脸关键点检测模型，需要大规模的带标签人脸数据，获取到的人脸图像中往往自然表情居多，如张嘴、闭眼的图像相对较少，这种较为单一的数据会使得训练后的模型泛化能力较差。此外，人脸关键点数据的标注耗时费力，标注员需要对每张人脸图像精细地标注几十甚至上百个关键点。这两个方面因素大大限制了高质量数据的获取，进而影响深度学习模型的性能。数据增强是快速提升数据量的高效方法，但现有的人脸关键点数据增强方法，例如平移、旋转、缩放等，无法对人脸轮廓及五官进行改变，如睁眼变为闭眼、胖脸形变为瘦脸形。因此即使数据量增加了，但数据的多样性并未提高。
技术实现思路
本专利技术目的在于提供一种基于局部仿射变换的人脸关键点数据增强方法与系统，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强，有效地提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。本专利技术的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。为达成上述目的，本专利技术提出一种基于局部仿射变换的人脸关键点数据增强方法，包括：步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；步骤4、对64×64像素大小的图像修正104个关键点坐标；步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。根据本专利技术的公开，还提出一种基于局部仿射变换的人脸关键点数据增强装置，包括：用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；用于对64×64像素大小的图像修正104个关键点坐标的模块；用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。根据本专利技术的公开，还提出一种系统，包括：一个或多个处理器；存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；步骤4、对64×64像素大小的图像修正104个关键点坐标；步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。根据本专利技术的公开，还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为SamePadding；最大值池化层的池化窗口大小为2×2、步长为2；第一个全连接层神经元数为1024，第二个全连接层神经元数为208；卷积层和第一个全连接层后采用ReLU激活函数激活；模型训练时的一个批次数据损失函数为：其中，为混合数据集中某一批次的第个训练样本的第个关键点坐标，为一个批次的数据量，为模型对第个训练图像预测的第个关键点坐标；最终，训练得到预测人脸关键点坐标的模型输出。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果本文档来自技高网...

【技术保护点】
1.一种基于局部仿射变换的人脸关键点数据增强方法，其特征在于，包括：/n步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；/n步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；/n步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；/n步骤4、对64×64像素大小的图像修正104个关键点坐标；/n步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；/n步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；/n步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；/n步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；/n步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。/n...

【技术特征摘要】
1.一种基于局部仿射变换的人脸关键点数据增强方法，其特征在于，包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。


2.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤9中对随机增强处理包括：
1）-30°到30°的随机旋转；
2）边长10%的随机平移；
3）边长90%到120%的随机缩放；
4）50%概率的水平翻转；
5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。


3.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤2中，对104个关键点的标注，得到标注数据为：



其中，为第幅图像；为第幅图像的第个关键点坐标；

，。


4.根据权利要求3所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；
再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像。


5.根据权利要求4所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤5中，根据104个关键点坐标和8个图像边缘点坐标将预处理后的图像数据划分成三角形子区域组成三角图像阵列;其中图像边缘点坐标是指图像左上角坐标、上边缘中点坐标、右上角坐标、左边缘中点坐标、右边缘中点坐标、左下角坐标、下边缘中点坐标以及右下角坐标；
然后，将这112个点采用Bowyer-Watson三角剖分算法划分三角形子区域，划分后每个子区域的三个顶点组成一个新的集合，其中：



其中，为第幅图的第个子区域的3个顶点，，为划分后的三角形子区域个数，。


6.根据权利要求5所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤7中，所述仿射变换的处理包括：
对每个预处理后的数据做数据增强时，首先随机选择一组目标关键点，，其中为目标关键点数据总组数，为第组目标关键点数据的第个坐标，，为8个图像边缘点坐标；
将第幅待增强图像的第个子区域图像由点两两连线围成，对应的目标子区域为目标关键点两两连线围成的区域，采用opencv图像处理库的applyAffineTransform函数将子区域仿射变换为目标子区域的形状，得到新的子区域图像，变换后的三个顶点坐标为；
对各子区域图像都进行上述操作得到个变换后的子区域图像。


7.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，前述方法更加包括：
对每一个原始的彩色图像经过前述预处理得到的64...

【专利技术属性】
技术研发人员：杨帆，郝强，潘鑫淼，胡建国，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：江苏;32