基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置制造方法及图纸

本申请提供基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置，其包括：通过TOF模组发射设定波长的激光信号，获取TOF模组当前视场内的点云；根据深度图判断视场内的是否存在人脸；如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。本申请能够通过TOF模组在前端采集数据免去了像传统结构光采集数据需要的大量前期运算，能够快速实现建模，并且修复人脸模型中的孔洞，修复效果良好，还能够轻易实现较远距离的人脸模型建立，大大增加了系统适用性。

Fast Face Model Acquisition Method Based on TOF Module and Fast Face Model Acquisition Device

【技术实现步骤摘要】
基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置
本申请涉及图像领域，尤其涉及基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置。
技术介绍
现有技术中，脸部建模是指利用现代的扫描技术对脸部扫描生成三维模型的过程，它在特效电影、虚拟现实、游戏、三维人脸识别等领域应用广泛。如图1所示，传统的人脸建模过程大多是利用结构光扫描仪对脸部进行扫描，然后再对采集到的数据进行后期处理生成模型。如图2所示，市面上采集人脸模型的装置或方案一般是基于结构光相机/扫描仪的采集器在前端进行点云信息采集，再将点云信息移至后端的PC/处理机进行建模，这种方式通常对PC/处理机的配置要求比较高，这样无形中也就增加了三维人脸建模的硬件成本。尽管传统基于结构光相机/扫描仪也可以实现人脸建模，但它存在以下几点不足：1、建模十分低效、昂贵且需要较多的计算资源；2、结构光人脸建模装置通常对环境要求较高，易受环境光或太阳光影响，室外建模效果差；3、眼睛或眉毛区域容易形成孔洞，给人不真实感；4、结构光人脸建模装置通常拍摄距离较近，如要求在0.3～0.6m之间，实现远距离的建模难度大，如需要大大提高结构光功率或改变固有结构。
技术实现思路
本申请提供一种基于TOF模组的快速人脸脸模采集方法以及快速人脸脸模采集装置，能够在解决现在的人脸建模低效、对环境要求高、并且容易产生孔洞以及实现远距离建模难度大的问题。根据本申请的第一方面，本申请提供一种基于TOF模组的快速人脸脸模采集方法，其包括：通过TOF模组发射设定波长的激光信号，获取TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图；根据深度图判断视场内的是否存在人脸；如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。优选地，在获取TOF模组接收激光信号的反射信号后输出的深度信息和幅度信息的步骤之后还包括步骤：对点云进行数据预处理，其中，数据预处理包括：时域中值滤波、高斯滤波以及中值滤波中的至少一种。优选地，在根据深度图判断视场内的是否存在人脸的步骤中，包括：预先训练好用于人脸识别的SVM模型，其中，SVM模型是基于包含人脸图像的深度信息中的HOG特征训练得到的；提取TOF模组当前获取到的深度图的HOG特征，通过SVM模型判断视场内是否存在人脸。优选地，在通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云的步骤中，包括：通过dnn深度学习网络提取2D幅度图中脸部轮廓的关键点；根据脸部轮廓的关键点拟合得到ROI区域作为人脸区域；保留人脸区域中的点云。优选地，在修复人脸区域内的孔洞的步骤中，包括：通过sobel算子提取深度图中的每个像素点在X方向和Y方向上的梯度值；遍历人脸区域的点云，当发现人脸区域某个位置的点云出现缺失时，则认为人脸区域的该位置存在孔洞；判断人脸区域的孔洞的当前像素点在X方向和Y方向上的梯度值大小，当像素点在X方向上的梯度值大于Y方向上的梯度值时，则选取当前像素点在X方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点，否则，当像素点在Y方向上的梯度值大于X方向上的梯度值时，则选取当前像素点在Y方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前像素点。优选地，在修复人脸区域内的孔洞的步骤之后，还包括：对人脸区域的点云进行过滤以去除人脸区域边缘部分的尖锐点和突出点。优选地，在对人脸区域的点云进行过滤的步骤中包括：设置圆柱体区域，其中，以人脸区域中设定位置的点云拟合成直线作为圆柱体区域的轴线，以轴线上的设定点作为轴线的中点，以设定半径作为圆柱体区域的半径、以设定高度作为圆柱体区域的高度以形成圆柱体区域；以圆柱体区域对人脸区域的点云进行过滤，对被圆柱体区域所选中的点云进行保留，对超出圆柱体区域的点云进行过滤。优选地，在将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型的步骤中，包括：遍历人脸区域中的点云，以当前点云作为参考，获取按照设定模板排布的当前点云和与当前点云邻接的其余点云以形成三角形；获取三角形中的点云在Z轴方向上的坐标；计算三角形中的点云之间在Z轴方向上的坐标之差的绝对值，判断绝对值是否超过预设阈值；如果没有超过预设阈值，则将当前三角形中的点云的坐标压入容器中进行保存，否则继续遍历人脸区域的点云信息。优选地，设定模板包括第一设定模板和第二设定模板，其中，在第一设定模板中按照以第一点云为起点、第二点云连接在第一点云的下方、第三点云连接在第二点云左侧进行排布；在第二设定模板中按照以第一点云为起点、第二点云连接在第一点云的右侧、第三点云连接在第一点云的下方进行排布。根据本申请的第二方面，本申请提供一种快速人脸脸模采集装置，其包括：TOF模组，用于发射设定波长的激光信号，获取TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据深度信息形成深度图，根据幅度信息形成2D幅度图；人脸检测模块，用于判断根据深度图判断视场内的是否存在人脸；人脸区域确定模块，用于如果判断到视场内存在人脸，则通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云；孔洞修复模块，用于判断人脸区域内是否存在孔洞，如果人脸区域内存在孔洞，则修复人脸区域内的孔洞；点云三角化模块，用于将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型。根据本申请的第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的步骤。根据本申请的第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述的步骤。本申请的有益效果在于：通过TOF模组而非传统结构光设备对前端视场内的点云进行采集，通过深度图判断视场内是否出现人脸，再通过2D幅度图中确定视场内的人脸区域并保留人脸区域内的点云，修复人脸区域内的孔洞，将修复后的人脸区域内的点云按照设定模板进行三角化以形成人脸模型，本申请的技术方案具有如下好处：1、通过TOF模组在前端采集数据免去了像传统结构光采集数据需要的大量前期运算，减轻了系统的负荷，能够快速实现建模；2、能够直接在前端完成深度数据采集、预处理、脸部轮廓提取、孔洞修复、模型生成、输出等一系列操作，无须再将该部分工作后置于PC/处理器上，节省了成本和资源；3、能够修复人脸模型中的孔洞，并且修复效果良好；4、能够轻易实现较远距离的人脸模型建立，大大增加了系统适用性。附图说明图1是传统的脸部建模的应用示意图；图2是市面上人脸建模采集装置的示意图；图3是本申请的快速人脸建模装置示意图；图4是本申请的快速人脸建模方法中的步骤S102判断是否存在人脸的流程图；图5是本申请的快速人脸建模方法的步骤S103确定人脸区域的流程图；图6是本申请的快速人脸建模方法的步骤S104修复人脸区域孔洞的流程图；图7是本申请的脸颊关键点提取；图8是实际2D幅度图拟合椭圆效果；图9是本申请的快速人脸建模方法的步骤S104修复本文档来自技高网...

【技术保护点】
1.一种基于TOF模组的快速人脸脸模采集方法，其特征在于，其包括：通过所述TOF模组发射设定波长的激光信号，获取所述TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据所述深度信息形成深度图，根据所述幅度信息形成2D幅度图；根据所述深度图判断所述视场内的是否存在人脸；如果判断到所述视场内存在所述人脸，则通过所述2D幅度图确定所述视场内的人脸区域，保留所述人脸区域内的点云；判断所述人脸区域内是否存在孔洞，如果所述人脸区域内存在孔洞，则修复所述人脸区域内的孔洞；将修复后的所述人脸区域内的点云按照设定模板进行三角化以形成所述人脸模型。

【技术特征摘要】
1.一种基于TOF模组的快速人脸脸模采集方法，其特征在于，其包括：通过所述TOF模组发射设定波长的激光信号，获取所述TOF模组当前视场内的点云，并且获取深度信息和幅度信息，并根据所述深度信息形成深度图，根据所述幅度信息形成2D幅度图；根据所述深度图判断所述视场内的是否存在人脸；如果判断到所述视场内存在所述人脸，则通过所述2D幅度图确定所述视场内的人脸区域，保留所述人脸区域内的点云；判断所述人脸区域内是否存在孔洞，如果所述人脸区域内存在孔洞，则修复所述人脸区域内的孔洞；将修复后的所述人脸区域内的点云按照设定模板进行三角化以形成所述人脸模型。2.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述获取TOF模组接收激光信号的反射信号后输出的深度信息和幅度信息的步骤之后还包括步骤：对所述点云进行数据预处理，其中，所述数据预处理包括：时域中值滤波、高斯滤波以及中值滤波中的至少一种。3.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述根据深度图判断视场内的是否存在人脸的步骤中，包括：预先训练好用于人脸识别的SVM模型，其中，所述SVM模型是基于包含人脸图像的深度信息中的HOG特征训练得到的；提取所述TOF模组当前获取到的深度图的HOG特征，通过所述SVM模型判断所述视场内是否存在人脸。4.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述通过2D幅度图确定视场内的人脸区域，保留人脸区域内的点云的步骤中，包括：通过dnn深度学习网络提取所述2D幅度图中脸部轮廓的关键点；根据所述脸部轮廓的关键点拟合得到ROI区域作为所述人脸区域；保留所述人脸区域中的点云。5.如权利要求1所述的快速人脸脸模采集方法，其特征在于，在所述修复所述人脸区域内的孔洞的步骤中，包括：通过sobel算子提取所述深度图中的每个像素点在X方向和Y方向上的梯度值；遍历所述人脸区域的点云，当发现所述人脸区域某个位置的点云出现缺失时，则认为所述人脸区域的该位置存在孔洞；判断所述人脸区域的孔洞的当前像素点在所述X方向和Y方向上的梯度值大小，当所述像素点在所述X方向上的梯度值大于所述Y方向上的梯度值时，则选取当前所述像素点在所述X方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前所述像素点，否则，当所述像素点在Y方向上的梯度值大于X方向上的梯度值时，则选取当前所述像素点在所述Y方向上的前一个位置的相邻像素点的深度信息和幅度值填充至当前所述像素点。6.如权利要求1...

【专利技术属性】
技术研发人员：周建华，徐渊，周光泽，姚浩东，
申请(专利权)人：深圳市繁维科技有限公司，
类型：发明
国别省市：广东,44