一种基于RGB-D相机的人脸识别辅助眼镜制造技术

本发明专利技术公开了一种基于RGB‑D相机的人脸识别辅助眼镜，包括眼镜本体、以及固定在眼镜本体上的彩色相机、深度相机、USB集线器、小型处理器、骨传导耳机和电池；本发明专利技术利用两个相机的彩色图像和深度图像进行人脸的跟踪，并自动为这些人脸赋予标签；人脸图像被正面化矫正，可以适应不同姿态下的识别；所述矫正后的人脸图像被用于在神经网络中训练人脸识别模型；待识别的人脸图像被输入到所述训练好的人脸识别模型，模型输出的识别结果通过3D立体声的方式传递给使用者，对视障人士进行辅助。

A face recognition assisted RGB glasses based on D camera

The invention discloses a face recognition assisted RGB glasses based on D camera, including the body, color camera, glasses and glasses are fixed on the body of the depth camera, USB hub, small processor, bone conduction headset and a battery; the invention uses color image and depth image two camera for face tracking, and the automatic face to face image by the label; positive correction, can adapt to the identification of different postures; the face image after correction were used for training model of face recognition in neural networks; to identify the human face images are input to the trained model of face recognition, recognition of the output of the model through 3D stereo way to transfer to the user, to help the visually impaired.

【技术实现步骤摘要】

本专利技术涉及模式分类，机器学习，人脸识别，视觉障碍人群辅助
，尤其涉及一种基于RGB-D相机的人脸识别辅助眼镜。
技术介绍
根据世界卫生组织(WHO)的数据，全球有2.85亿视障人士，其中有3900万是盲人。视障人士的日常生活中，识别周围人的身份是突出的需求。在没有其他设备的辅助下，视障人士只能通过辨别声音来判断，这在很大程度上受限于视障人士与其周围人的熟悉程度，距离，环境嘈杂度等因素。传统的人脸识别方法，一般采用彩色相机拍摄人脸图像，并且需要保证正面的人脸和均匀的光照，这就要求采集人脸样本的过程中，人脸尽量靠近相机并且正面面向相机。因此，设计一种专门面向视障人士的人脸识别系统，并使用简单自然的交互方式，将在很大程度上为视障人士提供方便。
技术实现思路
本专利技术的目的是利用RGB-D相机和人脸识别技术，解决视障人士的认人和识人方面存在的不便利性，旨在为视障人士提供一种简单易用，交互方式人性化的人脸识别辅助眼镜。本专利技术通过以下技术方案来实现：一种基于RGB-D相机的人脸识别辅助眼镜，包括眼镜本体、以及固定在眼镜本体上的彩色相机、深度相机、USB集线器、小型处理器、骨传导耳机和电池；彩色相机和深度相机的姿态角一致，且通过USB集线器与小型处理器相连，电池模块与小型处理器相连。骨传导耳机与小型处理器相连，彩色相机、深度相机、小型处理器和骨传导耳机均通过电池供电；两个相机分布固定在两个镜片的正上方，USB集线器和电池嵌入式安装在左镜脚内，小型处理器嵌入式安装在右镜脚内。彩色相机和深度相机获取到的彩色图像和深度图像通过USB传输到小型处理器，小型处理器将采集的图像进行校正后，与人脸数据库进行匹配，实现人脸识别，并将识别结果通过骨传导耳机进行播放，实现人脸识别辅助。进一步地，通过以下方法进行人脸识别辅助：(1)人脸的录入和人脸数据库的建立；(2)人脸图像的矫正；(3)神经网络训练；(4)采集人脸并进行人脸识别；(5)3D立体声用于识别结果的交互。进一步地，所述步骤(1)具体为：针对每一个识别对象，通过彩色相机和深度相机采集多帧连续图像，小型处理器根据彩色相机采集的多帧连续图像，通过RGB-D中的彩色图像通道检出人脸图像，以第一帧中检出的人脸图像作为人脸跟踪的初始化起点。若在第n帧中出现人脸漏检或检测错误，则可以启动人脸跟踪模式，检出人脸的区域。录入所有识别对象的人脸图像数据和对应的姓名，建立人脸数据库。所述人脸跟踪模式包括以下步骤：第一，在第n-1帧的人脸检出情况下，分别计算彩色图和深度图中的人脸区域的直方图。彩色直方图的横坐标为色度值，纵坐标为每个色度值对应的像素的个数；深度直方图的横坐标为深度值，纵坐标为每个深度值对应的像素的个数。第二，在第n帧中，计算彩色图和深度图的返向投影图。彩色图对应的返向投影图是将彩色图中的每个像素点的色度值替换为彩色直方图中对应的纵坐标而获得；深度图对应的返向投影图是将深度图中的每个像素点的深度值替换为深度直方图中对应的纵坐标而获得。将两个返向投影图融合后，得到更符合实际情况的人脸区域预测。第三，在融合后的返向投影图中，应用均值漂移算法(MeanShift)，计算出第n帧人脸的区域。进一步地，所述步骤(2)具体为：第一，调整人脸图像的格式为统一大小，即100像素*100像素。第二，检出人脸区域的特征点，所述特征点包括脸颊轮廓、眼睛、眉毛、鼻子、嘴巴。所述特征点的检出是基于彩色图像的。第三，以具有上述特征点的三维人脸模型为基准坐标系，根据彩色图像中的特征点位置，对RGB-D进行坐标标定，得到相机坐标系。第四，三维模型中的所有点被投影到所述相机坐标系中。第五，将彩色图像投影到相机坐标系下的三维模型中，赋予每个点的RGB信息；第六，对赋值后的三维模型进行正面投影，得到矫正后的人脸图像。第七，转彩色人脸图像为灰度图，并做直方图均衡化处理。进一步地，所述步骤(3)具体为：矫正得到的人脸图像，大小统一为100像素*100像素，可以视作一个10000维的向量。然后通过主成分分析(PCA)进行降维处理。每一个人脸对应一个由0和1组成的数据标签，第m个人脸的数据标签为[a1,a2,…am,…ak]，其中，am＝1，其余为0，k为人脸总数；以降维后的数据作为输入，数据标签作为输出，用反向传播算法(BP)训练神经网络模型。进一步地，通过以下方法进行识别：采集待识别的人脸图像，经过所述矫正、降维处理，再输入训练好的神经网络，在输出向量的各个元素中，若只有一个是大于所述阈值(0.5)的，则判定输入数据所属的类别为此向量元素对应的类；若有多于一个元素的值大于阈值或所有元素的值都小于阈值，则判定输入数据不属于训练时的数据集，在人脸识别中即为陌生人。进一步地，通过以下方法交互：根据步骤(4)识别的人脸，获得其姓名，进一步根据深度图可以获知其方位和距离；通过骨传导耳机以3D声音播放姓名给使用者，3D声音的角度用于指示人脸的方位，3D声音的大小用于指示人脸的距离。本专利技术的有益效果在于：1.本专利技术为视障人士提供了一种识别其周围人身份信息的眼镜。2.本专利技术所述的眼镜中涉及的人脸跟踪方法能提高人脸检出率，并且能自动标记图像的标签。3.本专利技术所述的眼镜中涉及的人脸图像矫正方法能去除头部姿态变化和不均匀的光照对人脸识别的影响。4.本专利技术提出的3D立体声音用于识别结果的交互，有效提高人脸识别系统使用过程的体验度。附图说明图1是系统结构示意图；图2是人脸检出结果图；图3是灰度化处理后的彩色直方图或深度直方图；图4是融合后的反向投影图；图5是矫正前和矫正后人脸图像的对比图。图6为本专利技术人脸识别辅助眼镜的结构示意图。具体实施方式如图6所示，一种基于RGB-D相机的人脸识别辅助眼镜，包括眼镜本体、以及固定在眼镜本体上的彩色相机、深度相机、USB集线器、小型处理器、骨传导耳机和电池；彩色相机和深度相机的姿态角一致，且通过USB集线器与小型处理器相连，电池模块与小型处理器相连。骨传导耳机与小型处理器相连，彩色相机、深度相机、小型处理器和骨传导耳机均通过电池供电；两个相机分布固定在两个镜片的正上方，USB集线器和电池嵌入式安装在左镜脚内，小型处理器嵌入式安装在右镜脚内。彩色相机和深度相机获取到的彩色图像和深度图像通过USB传输到小型处理器，小型处理器将采集的图像进行校正后，与人脸数据库进行匹配，实现人脸识别，并将识别结果通过骨传导耳机进行播放，实现人脸识别辅助。具体步骤如下：(1)人脸的录入和人脸数据库的建立；针对每一个待识别对象，通过彩色相机和深度相机采集多帧连续图像，小型处理器根据彩色相机采集的多帧连续图像，通过RGB-D相机中的彩色图像通道检出人脸图像，以第一帧中检出的人脸图像作为人脸跟踪的初始化起点。若在第n帧中出现人脸漏检或检测错误，则可以启动人脸跟踪模式，检出人脸的区域。录入所有待识别对象的人脸图像数据和对应的姓名，建立人脸数据库。所述人脸跟踪模式包括以下步骤：第一，在第n-1帧的人脸检出情况下，如图2所示(人脸区域被框出)，分别计算彩色图和深度图中的人脸区域的直方图，如图3所示。彩色直方图的横坐标为色度值，纵坐标为每个色度值对应的像素的个数；深度直方图的横坐标为深度值，纵坐标为每个深度值对应的像素的个数。第二，在第本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机的人脸识别辅助眼镜，其特征在于，包括眼镜本体、以及固定在眼镜本体上的彩色相机、深度相机、USB集线器、小型处理器、骨传导耳机和电池；彩色相机和深度相机的姿态角一致，且通过USB集线器与小型处理器相连，电池模块与小型处理器相连。骨传导耳机与小型处理器相连，彩色相机、深度相机、小型处理器和骨传导耳机均通过电池供电；两个相机分布固定在两个镜片的正上方，USB集线器和电池嵌入式安装在左镜脚内，小型处理器嵌入式安装在右镜脚内。彩色相机和深度相机获取到的彩色图像和深度图像通过USB传输到小型处理器，小型处理器将采集的图像进行校正后，与人脸数据库进行匹配，实现人脸识别，并将识别结果通过骨传导耳机进行播放，实现人脸识别辅助。

【技术特征摘要】
1.一种基于RGB-D相机的人脸识别辅助眼镜，其特征在于，包括眼镜本体、以及固定在眼镜本体上的彩色相机、深度相机、USB集线器、小型处理器、骨传导耳机和电池；彩色相机和深度相机的姿态角一致，且通过USB集线器与小型处理器相连，电池模块与小型处理器相连。骨传导耳机与小型处理器相连，彩色相机、深度相机、小型处理器和骨传导耳机均通过电池供电；两个相机分布固定在两个镜片的正上方，USB集线器和电池嵌入式安装在左镜脚内，小型处理器嵌入式安装在右镜脚内。彩色相机和深度相机获取到的彩色图像和深度图像通过USB传输到小型处理器，小型处理器将采集的图像进行校正后，与人脸数据库进行匹配，实现人脸识别，并将识别结果通过骨传导耳机进行播放，实现人脸识别辅助。2.根据权利要求1所述的人脸识别辅助眼镜，其特征在于，通过以下方法进行人脸识别辅助：(1)人脸的录入和人脸数据库的建立；(2)人脸图像的矫正；(3)神经网络训练；(4)采集人脸并进行人脸识别；(5)3D立体声用于识别结果的交互。3.根据权利要求2所述的人脸识别辅助眼镜，其特征在于，所述步骤(1)具体为：针对每一个识别对象，通过彩色相机和深度相机采集多帧连续图像，小型处理器根据彩色相机采集的多帧连续图像，通过RGB-D中的彩色图像通道检出人脸图像，以第一帧中检出的人脸图像作为人脸跟踪的初始化起点。若在第n帧中出现人脸漏检或检测错误，则可以启动人脸跟踪模式，检出人脸的区域。录入所有识别对象的人脸图像数据和对应的姓名，建立人脸数据库。所述人脸跟踪模式包括以下步骤：第一，在第n-1帧的人脸检出情况下，分别计算彩色图和深度图中的人脸区域的直方图。彩色直方图的横坐标为色度值，纵坐标为每个色度值对应的像素的个数；深度直方图的横坐标为深度值，纵坐标为每个深度值对应的像素的个数。第二，在第n帧中，计算彩色图和深度图的返向投影图。彩色图对应的返向投影图是将彩色图中的每个像素点的色度值替换为彩色直方图中对应的纵坐标而获得；深度图对应的返向投影图是将深度图中的每个像素点的深度值替换为深度直方图中对应的纵坐标而获得。将两个返向投影图融合...

【专利技术属性】
技术研发人员：于红雷，赵向东，杨恺伦，胡伟健，汪凯巍，
申请(专利权)人：杭州视氪科技有限公司，
类型：发明
国别省市：浙江;33