基于单个图像传感器的人脸纹理结构数据采集方法技术

本发明专利技术涉及一种基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：S1：获取图像数据和深度数据；S2：点云数据预处理，将三维数据处理成可应用的数据类型；S3：人脸检测与表情识别，裁切出人脸区域；S4：采集人员索引，输入采集人脸的个体标识；S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。本发明专利技术的数据采集方法能够解决采集人脸数据类型不完全，采集设备要求高、成本昂贵，采集环境要求高等问题，能够降低采集成本，同时可以在包括室外的开放环境的多种场景中方便使用，并能够保证多种采集数据类型的采集，避免数据缺失。

Face texture data acquisition method based on single image sensor

【技术实现步骤摘要】
基于单个图像传感器的人脸纹理结构数据采集方法
本专利技术涉及图像处理
，具体涉及基于单个图像传感器的人脸纹理结构数据采集方法。
技术介绍
现有的大部分人脸数据采集系统多用于采集图像纹理，被采集人员在固定场景通过图像传感器采集人脸数据，存在如下缺点：1、数据类型不完整，局限于三维或是二维单个数据类型。2、对采集设备、采集环境要求高，流程复杂，不适用与开放环境。这些方法如：基于图像传感器阵列的三维人脸数据采集系统（201511016389.X），人脸采集系统和人脸采集方法（201610096506.6），人脸图像采集系统及方法（201710600829.9）。
技术实现思路
本专利技术的目的是为解决上述技术问题的不足，提供基于单个图像传感器的人脸纹理结构数据采集方法。本专利技术为解决上述技术问题的不足，所采用的技术方案是：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：S1：获取图像数据和深度数据；S2：点云数据预处理，将三维数据处理成可应用的数据类型；S3：人脸检测与表情识别，裁切出人脸区域；S4：采集人员索引，输入采集人脸的个体标识；S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S1具体为：通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述采集设备为结构光、TOF或双目等深度相机。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S2具体为：通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；；公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；；公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S3具体为：将投影后的数据I’作为输入，通过全卷积网络N1生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表L，从列表L中开始，计算人脸候选窗与其他人脸候选窗的IoU，若IoU大于阈值T，则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表L中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据I’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据IR、RGB数据I’和深度数据D和出人脸数据IRf，If，Df，将If作为输入，通过一个全卷积网络N2得到输入数据If的人脸表情类型E。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述全卷积网络N1为MTCNN结构的全卷积网络，全卷积网络N2为resnet50结构的全卷积网络。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述阈值=0.6。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述5个关键点位置分别为左眼中心点，右眼中心点，鼻尖点，左嘴角和右嘴角。作为本专利技术一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：步骤S5具体为：根据点云数据P的深度信息Z、采集人员索引ID以及人脸表情E，按ID/Z/E的规则生成对应的文件夹，在文件夹中存储采集到的原始数据P、I、R和裁切后的数据IRf，If，Df。有益效果一、本专利技术的数据采集方法能够解决采集人脸数据类型不完全，采集设备要求高、成本昂贵，采集环境要求高等问题，能够降低采集成本，同时可以在包括室外的开放环境的多种场景中方便使用，并能够保证多种采集数据类型的采集，避免数据缺失；二、本专利技术的采集流程根据检测算法、表情识别算法创建存储数据地址，因此无需人员参与，降低了采集过程中的因为人为因素导致的数据缺失。附图说明图1为本专利技术数据采集方法的基本原理框图；图2为本专利技术数据采集方法中将三维点云数据P投影到像素坐标系上得到投影后的深度图D。具体实施方式以下结合具体实施方式进一步对本专利技术的技术方案进行阐述。如图1所示：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：S1：获取图像数据和深度数据；通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I，采集设备为结构光、TOF或双目等深度相机。S2：点云数据预处理，将三维数据处理成可应用的数据类型；通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；；公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；；公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值。因为捕捉点云数据与红外数据IR使用同一采集设备，因此投影后的RGB数据I’、深度数据D和红外数据IR数据坐标一一对应。S3：人脸检测与表情识别，裁切出人脸区域；将投影后的数据I’作为输入，通过全卷积网络N1（全卷积网络N1为MTCNN结构的全卷积网络）生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表L，从列表L中开始，计算人脸候选窗与其他人脸候选窗的IoU（交并比，人脸候选窗和真实的边框的交集和并集的比值），若IoU大于阈值T（阈值T根据确定根据经验和实际场景设定，一般为0.6），则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表L中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据I’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据IR、RGB数据I’和深度数据D和出人脸数据IRf，If，Df，将If作为输入，通过一个全卷积网络N2（全卷积网络N2为resnet50结构的全卷积网络）得到输入数据If的人脸表情类型E。S4：采集人员索引，输入采集人脸的个体标识；S5：根据不同的距离、人员、表情存储原始数据本文档来自技高网...

【技术保护点】
1.基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：包括以下步骤：/nS1：获取图像数据和深度数据；/nS2：点云数据预处理，将三维数据处理成可应用的数据类型；/nS3：人脸检测与表情识别，裁切出人脸区域；/nS4：采集人员索引，输入采集人脸的个体标识；/nS5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。/n

【技术特征摘要】
1.基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：包括以下步骤：
S1：获取图像数据和深度数据；
S2：点云数据预处理，将三维数据处理成可应用的数据类型；
S3：人脸检测与表情识别，裁切出人脸区域；
S4：采集人员索引，输入采集人脸的个体标识；
S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。


2.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述步骤S1具体为：通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I。


3.如权利要求2所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述采集设备为结构光、TOF或双目等深度相机。


4.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述步骤S2具体为：通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；

；
公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；

；
公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值。


5.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述步骤S3具体为：将投影后的数据I...

【专利技术属性】
技术研发人员：侯宗庆，李慧斌，马可，
申请(专利权)人：河南中原大数据研究院有限公司，
类型：发明
国别省市：河南;41