一种3D结构光人脸识别方法技术

本发明专利技术公开了一种3D结构光人脸识别方法，属于人脸识别技术领域；本发明专利技术方法包括：投射结构光，通过传感器接收信息；信息预处理，获取动作时的信息；语音识别；依嘴部信息、手部信息及音频数据进行特征融合处理，实现人脸唇语识别；本发明专利技术通过结构光的人脸识别及语音实现手语、语音、唇语三种模态信息的融合，提供一种具备聋、哑和聋哑三种人士的多元辅助的融合方法；解决了在唇部运动过程中如何产生更好地反映说话人视觉信息的特征的问题，进一步提高了识别的准确率；从不同模态到视位的映射，解决视觉歧义问题；同时多模态的融合也解决了单模态无法识别时，无法输出结果的问题，最大程度保证了方法在实际应用中的可行性。保证了方法在实际应用中的可行性。保证了方法在实际应用中的可行性。

【技术实现步骤摘要】
一种3D结构光人脸识别方法


[0001]本专利技术属于人脸识别
，特别涉及一种3D结构光人脸识别方法。

技术介绍

[0002]3D结构光人脸识别是在红外的基础上，增加一个红外点阵发射器，输出的图包括一张红外IR图和一张深度图，不管是深度图还是IR图都是利用红外光的光源，因此可以在在黑暗环境中使用，并且不易被自然光环境干扰。3D结构光的人脸识别的活体检测这块，是通过引入深度图，是使用IR和深度两个人脸图像进行3D的活体检测。而且可以在红外人脸识别防范的攻击算法基础上，加入的深度图携芾深度信息，能够有效防范平面攻击，比如说照片、视频、纸张面具弯曲等材质的攻击，还可以结合红外IR图对表面材质的检测，能防范大部分的普通材质的面具、模型等攻击。
[0003]现有结构光人脸识别已经应用于多个领域例如唇语识别、人脸建模等；其中唇语识别的应用较为空白，这是因为现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面，对提高唇部视觉特征的有效性关注不多。现有技术将结构光应用于唇语识别的如现有技术1“CN201510837127.3一种基于可穿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D结构光人脸识别方法；其特征在于：步骤100：向目标用户上半部分肢体投射结构光，通过传感器接收上半部分肢体信息及音频信息；步骤200：上半部分肢体信息预处理，获取动作时的嘴部信息、手部信息；步骤300：音频数据预处理，基于音频数据进行语音识别；步骤400：依据动作时的获取动作时的嘴部信息、手部信息及音频数据进行特征融合处理，实现人脸唇语识别。2.如权利要求1所述的一种3D结构光人脸识别方法，其特征在于：所述步骤100的投射结构光采用的是正向投射方式；所述步骤100的上半部分肢体信息包括彩色图像数据及深度数据。3.如权利要求1所述的一种3D结构光人脸识别方法，其特征在于：所述步骤200上半部分肢体信息预处理包括如下流程：步骤210：利用深度数据构建人脸轮廓模型；步骤220：三维人脸分割算法提取嘴部特征；步骤230：基于嘴部特征获取唇语信息。4.如权利要求3所述的一种3D结构光人脸识别方法，其特征在于：所述步骤210具体的包括如下步骤：步骤211：彩色图像数据及深度数据进行配准；步骤212：对深度图像进行降噪滤波；步骤213：面部检测及脸部特征点提取；步骤214：人脸轮廓模型数据归一化。5.如权利要求3所述的一种3D结构光人脸识别方法，其特征在于：所述步骤220具体的包括如下步骤：步骤221：彩色图像数据及深度数据进行配准、映射；步骤2...

【专利技术属性】
技术研发人员：程超超，王书琪，许晓东，
申请(专利权)人：福建平潭瑞谦智能科技有限公司，
类型：发明
国别省市：