本发明专利技术提供了一种深度相机抓拍时的深度重建方法、系统、设备及介质，包括：获取目标人脸的RGB图像、IR图像以及红外光斑图像；对RGB图像、IR图像进行人脸检测，同时对红外光斑图像进行预处理，以提取红外光斑图像中的多个光斑点区域；当在RGB图像、IR图像检测出人脸区域时，对人脸区域进行表情检测，确定该人脸区域的表情类型；当表情类型为预设置的表情类型集合中的任一表情类型时，根据红外光斑图像的多个光斑点区域和RGB图像中的人脸区域对目标人脸进行深度重建生成深度人脸图像。本发明专利技术中在人脸检测时对红外光斑图像进行预处理，且仅根据表情优选后RGB图像中的人脸区域对红外光斑图像进行深度重建，提高了深度重建的效率。提高了深度重建的效率。提高了深度重建的效率。
【技术实现步骤摘要】
深度相机抓拍时的深度重建方法、系统、设备及介质
[0001]本专利技术涉及3D成像领域，具体地，涉及一种深度相机抓拍时的深度重建方法、系统、设备及介质。
技术介绍
[0002]近年来，随着消费电子产业的不断发展，具有深度传感功能的深度相机日渐受到消费电子界的重视。目前比较成熟的深度测量方法是结构光方案和ToF技术。
[0003]ToF(time of flight)技术是一种从投射器发射测量光，并使测量光经过目标人脸反射回到接收器，从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的ToF技术包括单点扫描投射方法和面光投射方法。
[0004]结构光三方案是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测，从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上，沿光条显示出的位移(或偏移)与物体表面高度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面三维形廓。
[0005]深度相机模组拓宽了前端感知的维度，能够很好的解决2D人脸识别遇到的抗假体攻击和极端情况下识别准确率降低的问题，效果得到了市场的认可，需求强烈，能够应用于基于3D人脸识别的门锁、门禁和支付等场景。但是在支付等场景应用时，如何提高人脸图像的抓拍效率，实现快捷支付，现有技术中并没有相应的解决方案。
技术实现思路
[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种深度相机抓拍时的深度重建方法、系统、设备及介质。
[0007]根据本专利技术提供的深度相机抓拍时的深度重建时的深度重建方法，包括如下步骤：
[0008]步骤S1：获取目标人脸的RGB图像、IR图像以及红外光斑图像；
[0009]步骤S2：对所述RGB图像、所述IR图像进行人脸检测，同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；
[0010]步骤S3：当在所述RGB图像、所述IR图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；
[0011]步骤S4：当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像的多个光斑点区域和所述RGB图像中的人脸区域对所述目标人脸进行深度重建生成深度人脸图像。
[0012]优选地，当对所述目标人脸进行深度重建生成深度人脸图像时，同时进行如下步
骤：
[0013]-对所述RGB图像、所述IR图像进行质量检测；
[0014]-当所述IR图像符合预设置的质量标准时，对所述IR图像进行活体检测。
[0015]优选地，所述步骤S1包括如下步骤：
[0016]步骤S101：通过红外相机交替采集所述目标人脸的IR图像和红外光斑图像；
[0017]步骤S102：通过RGB相机采集所述目标人脸的RGB图像；
[0018]步骤S103：获取目标人脸的RGB图像、IR图像以及红外光斑图像，并对所述RGB图像进行实时预览。
[0019]优选地，所述步骤S3包括如下步骤：
[0020]步骤S301：当在所述RGB图像、所述IR图像检测出人脸区域时，触发步骤S303；
[0021]步骤S302：当没有在所述RGB图像、所述IR图像检测出人脸区域时时，并返回步骤S1重新进行所述目标人脸的RGB图像、IR图像以及红外光斑图像的获取；
[0022]步骤S303：对所述人脸区域进行表情检测，确定该人脸区域的表情类型。
[0023]优选地，所述步骤S4包括如下步骤：
[0024]步骤S401：获取预设置的表情类型集合；
[0025]步骤S402：判断所述表情类型是否为预设置的表情类型集合中的一表情类型，当所述表情类型为预设置的表情类型集合中的一表情类型，触发步骤S403，当所述表情类型不是预设置的表情类型集合中的一表情类型，发出第一提示信息，并返回步骤S1；
[0026]步骤S403：根据所述红外光斑图像的多个光斑点区域和所述RGB图像对所述目标人脸进行深度重建生成深度人脸图像。
[0027]优选地，当对所述RGB图像、所述IR图像进行质量检测时，包括如下步骤：
[0028]步骤M1：获取预设置的图像质量标准；
[0029]步骤M2：判断所述RGB图像和所述IR图像是否为符合预设置的图像质量标准，当所述RGB图像和所述IR图像符合预设置的图像质量标准，触发步骤M3，当所述RGB图像和所述IR图像不符合预设置的图像质量标准，发出第二提示信息，并返回步骤S1；
[0030]步骤M3：根据所述IR图像对目标人脸进行活体检测。
[0031]优选地，所述步骤S403包括如下步骤：
[0032]步骤S4031：将所述RGB图像的人脸区域映射到所述红外光斑图像中，确定所述红外光斑图像中人脸区域的多个光斑点；
[0033]步骤S4032：提取所述人脸区域的多个光斑点区域；
[0034]步骤S4033：根据所述人脸区域对应的所述光斑点区域的形变或位移生成所述人脸区域的深度人脸图像。
[0035]根据本专利技术提供的深度相机抓拍时的深度重建系统，包括如下模块：
[0036]图像采集模块，用于获取目标人脸的RGB图像、IR图像以及红外光斑图像；
[0037]人脸检测模块，用于对所述RGB图像、所述IR图像进行人脸检测；
[0038]深度数据预处理模块，用于在所述人脸检测的同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；
[0039]表情检测模块，用于当在所述RGB图像、所述IR图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；
[0040]深度重建模块，用于当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像和所述RGB图像对所述目标人脸进行深度重建生成深度人脸图像。
[0041]根据本专利技术提供的深度相机抓拍时的深度重建设备，包括：
[0042]处理器；
[0043]存储器，其中存储有所述处理器的可执行指令；
[0044]其中，所述处理器配置为经由执行所述可执行指令来执行所述的深度相机抓拍时的深度重建方法的步骤。
[0045]根据本专利技术提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的深度相机抓拍时的深度重建方法的步骤。
[0046]与现有技术相比，本专利技术具有如下的有益效果：
[0047]本专利技术中RGB图像依次进行人脸检测和表情优选，并在人脸检测时对红外光斑图像进行预处理，且仅根据表情优选后RGB图像中的人脸区域对所述红外光斑图像进行深度重建，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度相机抓拍时的深度重建方法，其特征在于，包括如下步骤：步骤S1：获取目标人脸的RGB图像、IR图像以及红外光斑图像；步骤S2：对所述RGB图像、所述IR图像进行人脸检测，同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；步骤S3：当在所述RGB图像、所述IR图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；步骤S4：当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像的多个光斑点区域和所述RGB图像中的人脸区域对所述目标人脸进行深度重建生成深度人脸图像。2.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，当对所述目标人脸进行深度重建生成深度人脸图像时，同时进行如下步骤：-对所述RGB图像、所述IR图像进行质量检测；-当所述IR图像符合预设置的质量标准时，对所述IR图像进行活体检测。3.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S1包括如下步骤：步骤S101：通过红外相机交替采集所述目标人脸的IR图像和红外光斑图像；步骤S102：通过RGB相机采集所述目标人脸的RGB图像；步骤S103：获取目标人脸的RGB图像、IR图像以及红外光斑图像，并对所述RGB图像进行实时预览。4.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S3包括如下步骤：步骤S301：当在所述RGB图像、所述IR图像检测出人脸区域时，触发步骤S303；步骤S302：当没有在所述RGB图像、所述IR图像检测出人脸区域时时，并返回步骤S1重新进行所述目标人脸的RGB图像、IR图像以及红外光斑图像的获取；步骤S303：对所述人脸区域进行表情检测，确定该人脸区域的表情类型。5.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤S4包括如下步骤：步骤S401：获取预设置的表情类型集合；步骤S402：判断所述表情类型是否为预设置的表情类型集合中的一表情类型，当所述表情类型为预设置的表情类型集合中的一表情类型，触发步骤S403，当所述表情类型不是预设置的表情类型集合中的一表情类型，发出第一提示信息，并返回步骤S1；步骤S40...
【专利技术属性】
技术研发人员：朱力，吕方璐，汪博，
申请(专利权)人：深圳市光鉴科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。