一种基于Kinect传感器的三维人脸数据获取方法及装置制造方法及图纸

本发明专利技术提供一种基于Kinect传感器的三维人脸数据获取方法及装置，该方法包括：获取人脸的RGB图像数据和深度图像数据；对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。本发明专利技术提供一种基于Kinect传感器的三维人脸数据获取方法及装置，解决了现有Kinect传感器捕获的3维数据质量相对较低，存在“盲目点”缺失的数据，深度分辨率相对较低，噪音大的问题。

A Kinect Sensor Based Method and Device for 3D Face Data Acquisition

【技术实现步骤摘要】
一种基于Kinect传感器的三维人脸数据获取方法及装置
本专利技术属于人脸识别
，尤其涉及一种基于Kinect传感器的三维人脸数据获取方法及装置。
技术介绍
在人脸识别中人脸数据库是对不同人脸识别算法进行定量评价的标准平台，是开发稳固可靠人脸识别系统的基础。与大量的二维人脸数据库相比，三维人脸数据库的数量相对较少。大多数现有的人脸数据库采用高质量的激光扫描仪进行人脸数据采集，使得采集的二维人脸数据和三维人脸数据在获取效率和数据精度上存在不平衡问题；另外高分辨率RGB图像的捕获的时间远小于对人脸的激光扫描，为了显著降低非合作的2维人脸采集在集成3维人脸数据时的速度，高质量的3维人脸扫描需要谨慎的用户配合。而Kinect传感器通过同时提供2维和3维数据的交互速率，克服了上述问题。但是Kinect传感器捕获的3维数据质量相对较低，存在“盲目点”缺失的数据，深度分辨率相对较低，大量深度转换、，RGB和深度图像的空间校准/映射时的噪音等问题。另外，任何一个现有的三维人脸数据库都没有提供三维视频序列，这是因为传统的3维激光扫描仪无法实时获取3维数据，而3维视频数据的缺乏限制了基于三维图像的三维人脸识别方法。
技术实现思路
本专利技术提供一种基于Kinect传感器的三维人脸数据获取方法及装置，以解决现有Kinect传感器捕获的3维数据质量相对较低，存在“盲目点”缺失的数据，深度分辨率相对较低，噪音大的问题。为解决上述技术问题，本专利技术提供了一种基于Kinect传感器的三维人脸数据获取方法，包括：获取人脸的RGB图像数据和深度图像数据；对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。根据本专利技术的一实施方式，所述获取人脸的RGB图像数据和深度图像数据的步骤包括：利用RGB相机获取所述RGB图像数据；利用深度相机获取所述深度图像数据。根据本专利技术的另一实施方式，所述利用深度相机获取所述深度图像数据的步骤包括：利用深度相机获取人脸的视差图；基于Kinect传感器的三角测量法根据所述人脸的视差图计算得到所述深度图像数据。根据本专利技术的另一实施方式，所述将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据的步骤包括：将所述深度相机坐标系中人脸三维点坐标数据转换到RGB相机坐标系上得到的RGB相机坐标系中人脸三维点坐标数据；对所述RGB相机坐标系中人脸三维点坐标数据进行失真纠正；将纠正后所述RGB相机坐标系中人脸三维点坐标数据映射到RGB图像原点得到RGB相机坐标系中人脸三维点的位置数据。根据本专利技术的另一实施方式，所述将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云的步骤包括：确定所述RGB图像数据和所述深度图像数据的对应关系；根据所述对应关系将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云；记录所述带颜色的三维点云。根据本专利技术的另一实施方式，所述确定所述RGB图像数据和所述深度图像数据的对应关系的步骤包括：对所述RGB相机坐标系中人脸三维点坐标数据进行噪声去除；对所述RGB相机坐标系中人脸三维点坐标数据进行面部关键点标记；确定所述RGB相机坐标系中人脸三维点坐标数据的面部关键点与所述深度图像的三维点之间的对应关系。另一方面，本专利技术还提供了一种基于Kinect传感器的三维人脸数据获取装置，包括：获取模块，用于获取人脸的RGB图像数据和深度图像数据；空间转换模块，用于对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；投射模块，用于将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；颜色映射模块，用于将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。根据本专利技术的一实施方式，所述获取模块为Kinect传感器，所述Kinect传感器包括：RGB相机单元，用于获取所述RGB图像数据；深度相机单元，用于获取所述深度图像数据。其中，所述深度相机单元包括：IR红外激光发射器和IR相机，所述IR红外激光发射器用于投射预设斑点图案到场景中，所述IR相机用于拍摄投射的所述预设斑点图案的反射图像以得到所述深度图像数据。根据本专利技术的另一实施方式，所述投射模块包括：转换单元，用于将所述深度相机坐标系中人脸三维点坐标数据转换到RGB相机坐标系上得到的RGB相机坐标系中人脸三维点坐标数据；纠正单元，用对所述RGB相机坐标系中人脸三维点坐标数据进行失真纠正；坐标映射单元，用于将纠正后所述RGB相机坐标系中人脸三维点坐标数据映射到RGB图像原点得到RGB相机坐标系中人脸三维点的位置数据。根据本专利技术的另一实施方式，所述颜色映射模块包括：对应关系确定单元，用于确定所述RGB图像数据和所述深度图像数据的对应关系；颜色映射单元，用于根据所述对应关系将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云；记录单元，用于记录所述带颜色的三维点云。本专利技术的有益效果：本专利技术实施例的一种基于Kinect传感器的三维人脸数据获取方法，首先获取人脸的RGB图像数据和深度图像数据；之后对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；再将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；最后将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。采用本实施例的基于Kinect传感器三维人脸数据获取方法解决了Kinect捕获的三维数据质量相对较低，“盲目点”缺失的数据，深度分辨率相对较低，噪音大等问题，采用本实施例的获取方法可以获取满足要求的三维人脸数据，进而补充三维人脸数据库数量，解决由于相对较少的三维人脸数据库而无法有效开发稳固可靠的人脸识别系统的问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术的一种基于Kinect传感器的三维人脸数据获取方法的一个实施例的流程示意图；图2是本专利技术的一种基于Kinect传感器的三维人脸数据获取方法的步骤100的一个实施例的流程示意图；图3是本专利技术的一种基于Kinect传感器的三维人脸数据获取方法的步骤300的一个实施例的流程示意图；图4是本专利技术的一种基于Kinect传感器的三维人脸数据获取方法的步骤400的一个实施例的流程示意图；图5是本专利技术的一种基于Kinect传感器的三维人脸数据获取装置的一个实施例的结构示意图。具体实施方式下面将结合本专利技术实本文档来自技高网...

【技术保护点】
1.一种基于Kinect传感器的三维人脸数据获取方法，其特征在于，包括：获取人脸的RGB图像数据和深度图像数据；对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。

【技术特征摘要】
1.一种基于Kinect传感器的三维人脸数据获取方法，其特征在于，包括：获取人脸的RGB图像数据和深度图像数据；对所述深度图像数据进行空间转换得到深度相机坐标系中人脸三维点坐标数据；将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据；将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云。2.根据权利要求1所述的基于Kinect传感器的三维人脸数据获取方法，其特征在于，所述获取人脸的RGB图像数据和深度图像数据的步骤包括：利用RGB相机获取所述RGB图像数据；利用深度相机获取所述深度图像数据。3.根据权利要求2所述的基于Kinect传感器的三维人脸数据获取方法，其特征在于，所述利用深度相机获取所述深度图像数据的步骤包括：利用深度相机获取人脸的视差图；基于Kinect传感器的三角测量法根据所述人脸的视差图计算得到所述深度图像数据。4.根据权利要求1所述的基于Kinect传感器的三维人脸数据获取方法，其特征在于，所述将所述深度相机坐标系中人脸三维点坐标数据投射到RGB相机坐标系上得到RGB相机坐标系中人脸三维点坐标数据的步骤包括：将所述深度相机坐标系中人脸三维点坐标数据转换到RGB相机坐标系上得到的RGB相机坐标系中人脸三维点坐标数据；对所述RGB相机坐标系中人脸三维点坐标数据进行失真纠正；将纠正后所述RGB相机坐标系中人脸三维点坐标数据映射到RGB图像原点得到RGB相机坐标系中人脸三维点的位置数据。5.根据权利要求1所述基于Kinect传感器的三维人脸数据获取方法，其特征在于，所述将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云的步骤包括：确定所述RGB图像数据和所述深度图像数据的对应关系；根据所述对应关系将所述RGB图像数据的RGB颜色信息映射到所述RGB相机坐标系中人脸三维点坐标数据上得到带颜色的三维点云；记录所述带颜色的三维点云。6.根据权利要求5所述基于Kinect传感器的三维人脸数据获取方法，其特征在于，所述确定所述RGB图像数据和所述深度图像数据的对应关系的步骤包括...

【专利技术属性】
技术研发人员：骞志彦，王国强，张斌，陈学伟，
申请(专利权)人：视缘上海智能科技有限公司，
类型：发明
国别省市：上海,31