一种基于结构光模组的快速3D人脸点云生成方法及装置制造方法及图纸

一种基于结构光模组的快速3D人脸点云生成方法及装置，该方法包括：S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。该方法有利于大幅降低结构光模组在智能手机3D自拍、人脸解锁、3D扫描重建应用过程中的计算资源，有利于实时点云处理。

A Fast 3D Face Point Cloud Generation Method and Device Based on Structured Light Module

A fast 3D facial point cloud generation method and device based on structured light module is presented. The method includes: S100: locating the image area of face through RGB camera or infrared camera of structured light module, identifying the face area in RGB image or infrared image; S200: Opening infrared coding projector of structured light module, acquiring infrared coding image by infrared camera. The effective face encoding region is obtained by mapping the face region to the infrared encoding image; S300: decoding the effective face encoding region to get the corresponding depth information of the effective face encoding region; S400: Converting the depth information of the effective face encoding region to 3D face point cloud through coordinates. This method can greatly reduce the computing resources of structured light module in the application of smartphone 3D self-timer, face unlocking, 3D scanning and reconstruction, and is conducive to real-time point cloud processing.

【技术实现步骤摘要】
一种基于结构光模组的快速3D人脸点云生成方法及装置
本公开属于视觉处理和人工智能
，具体涉及一种基于结构光模组的快速3D人脸点云生成方法及装置。
技术介绍
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、3D人脸识别、3D打印等领域有着广泛的应用前景，已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC/平板电脑、智能家电等，为用户带来“科幻”般的操控方式和全新的人机交互体验。随着科技的发展，人脸识别技术日益成熟，多种装置及系统例如笔记本电脑、移动终端以及门禁系统等开始通过获取待检测视频，并通过检测待检测视频中的人脸以完成对身份的识别。但由于合法用户人脸的平面图形较容易取得，非法用户可以通过在待检测视频中添加合法用户的假体人脸例如合法用户的照片等，并使用包括该假体人脸的待检测视频通过人脸识别，从而降低了人脸识别的准确性，损害了用户体验。苹果iP本文档来自技高网...

【技术保护点】
1.一种基于结构光模组的快速3D人脸点云生成方法，包括：S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。

【技术特征摘要】
1.一种基于结构光模组的快速3D人脸点云生成方法，包括：S100：通过结构光模组的RGB摄像头或红外摄像头识别定位人脸所在的图像区域，在RGB图像或红外图像中标识出人脸区域；S200：打开结构光模组的红外编码投射器，红外摄像头采集得到红外编码图像，将所述人脸区域映射到红外编码图像中，获取有效人脸编码区域；S300：将所述有效人脸编码区域进行解码，得到所述有效人脸编码区域所对应的深度信息；S400：将所述有效人脸编码区域的深度信息经过坐标转换为3D人脸点云。2.根据权利要求1所述的方法，其中，优选的，步骤S100具体包括：如果结构光模组带RGB摄像头，则提前对RGB摄像头和红外摄像头标定好，利用RGB摄像头识别定位人脸；如果结构光模组不带RGB摄像头，结合红外泛光照明，利用红外摄像头识别定位人脸。3.根据权利要求2所述的方法，其中，(1)所述利用RGB摄像头识别定位人脸的具体步骤包括：S10011，通过结构光模组的RGB摄像头采集RGB图像作为待检测图像；S10012，计算出所述待检测图像中所有的像素点与肤色相似的程度，进而可得到肤色似然图，以便将所述待检测图像中的肤色区域分割出来；S10013，排除非肤色区域，完成候选区域的图像的筛选；S10014，制作人脸模板，并对候选区域的图像与人脸模板进行匹配，通过检测判断是否为人脸区域，以便将人脸区域提取出来；(2)所述利用红外摄像头识别定位人脸的具体步骤包括：S10021，获取红外人脸数据集和非红外人脸数据集作为训练集，对训练集进行预处理，用Harr-like特征表示人脸特征，使用“积分图”实现特征数值的快速计算，以便训练一个红外人脸检测器；S10022，将待输入红外人脸图像进行预处理，通过红外人脸检测器判断是人脸还是非人脸；如果是人脸，按照设定的窗口，提取出人脸区域。4.根据权利要求1所述的方法，其中，步骤S200具体包括：如果结构光模组带RGB摄像头，则利用内外参和坐标映射，得到RGB人脸区域所对应的有效人脸编码区域；如果结构光模组不带RGB摄像头，则红外图像中的人脸区域一一对应红外编码图像中的有效人脸编码区域。5.根据权利要求1所述的方法，其中，所述红外编码投射器可以投射包括随机散斑编码图案、规则散斑编码图案、符号阵列编...

【专利技术属性】
技术研发人员：刘立恒，葛晨阳，刘欣，谢艳梅，
申请(专利权)人：宁波盈芯信息科技有限公司，
类型：发明
国别省市：浙江,33