一种基于增量学习人脸分块视觉表征的视频人脸识别方法技术

本发明专利技术提供了一种基于增量学习人脸分块视觉表征的视频人脸识别方法，属于模式识别领域。本方法使用Adaboost算法在人脸视频第一帧的正面人脸图像进行检测，使用Camshift算法进行跟踪，得到所有人脸图像，在读入视频过程中，对人脸图像进行增量聚类，并从每类人脸图像中选取代表；对代表图像进行处理，学习基于块视觉表征的视觉词典；使用视觉词典对人脸图像进行表征；最后根据相似矩阵对人脸图像构成的视频进行识别。本发明专利技术方法能够提高视频人脸在光照、姿态，以及跟踪结果不理想状态下的识别率和鲁棒性，能够有效、便捷、自动地检测、跟踪和识别视频中的人脸。

【技术实现步骤摘要】
一种基于增量学习人脸分块视觉表征的视频人脸识别方法
本专利技术属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是基于增量学习人脸分块视觉表征的人脸识别方法。
技术介绍
视频中的人脸识别主要是针对包含人的运动图像序列进行分析处理，人脸识别问题可以定义成：输入（查询）场景中的静止图像或者视频，使用人脸数据库识别或验证场景中的一个人或者多个人。基于静止图像的人脸识别通常是指输入（查询）一幅静止的图像，使用人脸数据库进行识别或验证图像中的人脸。而基于视频的人脸识别是指输入（查询）一段视频，使用人脸数据库进行识别或验证视频中的人脸。类别是世间万物的一个基本属性，同一类别的事物在形状，行为等方面具有相似的特性，而不同类别的物体则往往具有较大的差异。对于计算机而言，如何自动地从监控视频中判断出运动目标的类别是一个很具挑战性的问题。国内外众多的大学和研究机构，如美国的MIT、CMU、UIUC、Maryland大学、英国的剑桥大学、日本的Toshiba公司和国内的中国科学院自动化所都对基于视频的人脸识别进行了广泛而深入的研究。视频中的人脸的图像特征一般使用矢量或者矩阵作为描述方式。利用矢量作为视频人脸的描述方式的基本思想是利用视频得到一个反映输入人脸视频特性（如均值人脸图像、最好的正面图像等）的特征（矢量表示），和数据库中的人脸视频描述方式进行匹配。数据库中人脸视频的描述方式可以是矢量、矩阵、概率、动态模型、流形等。目前已经有很多算法对视频场景内的人脸识别（分类）进行了研究，但是往往都存在着一定的缺点，例如，需要进行数据库的采集标注，需要重新训练训练样本，不能增量更新。另外，由于视频中的人脸姿态变化程度大，而且受到光照等外界因素的影响，一些识别（分类）算法在某些特定的条件下可以取得很好的性能，却往往在环境复杂的条件下无法取得很好的识别结果，检测跟踪结果不理想。
技术实现思路
现有技术在进行视频中人脸识别问题上往往在光照、姿态变化的情况下，以及在检测、跟踪效果不理想的情况下不能取得良好的实验结果，本专利技术的目的是能够有效、便捷、自动地判断制品中人脸的身份，利用已有的检测、跟踪技术，在收到各种因素影响，即使检测、跟踪结果不理想的情况下，也能高鲁棒的对视频中的人脸进行身份的识别，为此，提供一种基于增量学习人脸分块视觉表征的视频人脸识别方法。本专利技术提供的一种基于增量学习人脸分块视觉表征的视频人脸识别方法，包括如下步骤：步骤S1：对读入的一段时间的人脸图像序列，使用Adaboost算法对第一帧的正面人脸图像进行检测，得到目标人脸，使用Camshift算法对人脸图像序列进行处理，跟踪得到所有人脸图像；步骤S2：在读入人脸图像序列的过程中，对通过人脸目标检测和人脸运动跟踪获得的人脸图像进行增量聚类；步骤S3：对增量聚类得到的每一类人脸图像中，选取该类的代表；步骤S4：将选出的人脸图像都进行矩形块分割；步骤S5：对人脸图像分割的每个矩形块提取特征向量；步骤S6：对提取出来的所有特征向量，使用vectorquantization算法进行分类，学习人脸视觉词汇，将学习到的所有视觉词汇统计起来，形成人脸视觉词汇词典；步骤S7：通过空间金字塔匹配方法，使用人脸视觉词汇对人脸图像进行表征，人脸图像表示为由人脸视觉词汇表示的直方图；在训练阶段，将训练视频集中选取的作为代表的人脸图像都使用人脸视觉词汇表征；在识别阶段，将测试视频中的每帧测试图像都经过步骤S4到步骤S7的处理，用人脸视觉词汇表征；步骤S8：通过时序相似矩阵对测试视频的每帧人脸图像进行识别。本专利技术的方法不需要进行数据库的采集标注，通过增量学习的方法实现运动人脸的自动检测、跟踪和识别。本专利技术的方法对光照和姿态鲁棒，算法高效，实时，解决了现有技术需要手工对人脸进行标注，对离线数据库人脸光照和姿态影响，需要从新训练训练样本，不能增量更新等因素影响的问题。本专利技术方法在视频中环境复杂，检测跟踪结果不理想的情况下，仍然能有鲁棒的进行视频中的人脸识别。本专利技术方法能够有效、便捷、自动地检测、跟踪和识别视频中的人脸，可以应用在如下方面：（1）用于智能监控系统中的视频人脸识别，帮助监控系统判断运动人脸的身份信息，通过制定相应类别的规则，为人脸的身份提供候选身份信息；（2）用于计算机视觉领域的人脸识别，首先对目标人脸进行粗分类，缩小搜索空间，提高识别效率和准确率；（3）用于智能监控系统中的语义化理解，提供其语义化中的主体类别，帮助系统理解场景中发生的事件。附图说明图1为本专利技术基于增量学习人脸分块视觉表征的视频人脸识别方法的流程图；图2为UCSD/Honda数据库中某人视频图像；图3为检测跟踪后得到的视频中的人脸帧图像；图4为使用空间金字塔匹配使用视觉词汇表达人脸示意图。具体实施方式下面结合附图详细说明本专利技术技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。本专利技术提高的基于增量学习人脸分块视觉表征的视频人脸识别方法，对于提高识别方法对环境的鲁棒性，提高人脸识别的识别性能具有重要意义。利用增量学习和分块视觉表征的方法，本专利技术实现了一个视频场景下的运动人脸自动识别方法，识别出人脸视频中的人脸的身份信息。本专利技术的方法需要的硬件最低配置为：P43.0GCPU，512M内存的计算机；最低分辨率为320×240的监控摄像头；帧率为25帧每秒的视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本专利技术方法，可以达到实时识别的效果。结合图1，下面详细说明本专利技术的基于增量学习人脸分块视觉表征的视频人脸识别方法的具体实施步骤。步骤S1：读入训练视频集的一段人脸视频，在人脸图像序列中进行人脸目标检测和人脸运动跟踪。首先，使用Adaboost算法对第一帧的正面人脸图像进行检测，得到目标人脸，然后使用Camshift算法对人脸图像序列进行跟踪，得到目标人脸的所有图像，当跟踪失败时重新使用Adaboost算法检测人脸图像。对运动目标进行跟踪，通过对不同帧，同一运动目标的检测跟踪结果进行融合，用于准确分类。步骤S2：在读入人脸图像序列的过程中，对通过人脸目标检测和人脸运动跟踪获得的人脸图像进行增量聚类。现有参考文献（A.Mian,“Unsupervisedlearningfromlocalfeaturesforvideo-basedfacerecognition,”inAutomaticFace&GestureRecognition,2008.pp.1–6）提出了一种非监督的视频人脸识别方法，采用一种基于局部人脸特征相似度比较和投票的特征选择方法来实现对人脸的自动聚类。本专利技术方法的步骤S2基于该思想，采用增量聚类实现人脸图像的分类，具体如下说明。初始化增量聚类所使用的分类器，使用K均值算法和前10帧人脸图像初始化完成分类器。根据人脸的表情和头部动作，将类的总数设定为10，将每个类中含有类成员的最大个数设定为20。在增量聚类的过程中，随着视频的播出，如果一张人脸图像距离类中心超过设定阈值A，那么该人脸图像将成为一个新的类，于此同时，已有各个类中，含有类成员个数最少的那个类将被剔除；如果小于等于阈值A，那么该人脸图像将并入其距离最近的一个类，并且如果这个类中的成员本文档来自技高网...

【技术保护点】
一种基于增量学习人脸分块视觉表征的视频人脸识别方法，其特征在于，包括如下步骤：步骤S1：对读入的一段时间的人脸图像序列，使用Adaboost算法对第一帧的正面人脸图像进行检测，得到目标人脸，使用Camshift算法对人脸图像序列进行处理，跟踪得到所有人脸图像；步骤S2：在读入人脸图像序列的过程中，对通过人脸目标检测和人脸运动跟踪获得的人脸图像进行增量聚类；步骤S3：增量聚类过程中，对增量聚类得到的每一类人脸图像中，选取该类的代表；步骤S4：将所有选出的人脸图像都进行矩形块分割；步骤S5：对人脸图像分割的每个矩形块提取特征向量；步骤S6：对提取出来的所有特征向量，使用vector?quantization算法进行分类，学习人脸视觉词汇，将学习到的所有视觉词汇统计起来，形成人脸视觉词汇词典；步骤S7：通过空间金字塔匹配方法，使用人脸视觉词汇对人脸图像进行表征，人脸图像表示为由人脸视觉词汇表示的直方图；在训练阶段，将训练视频集中选取的作为代表的人脸图像都使用人脸视觉词汇表征；在识别阶段，将测试视频中的每帧测试图像都经过步骤S4到步骤S7的处理，用人脸视觉词汇表征；步骤S8：通过时序相似矩阵对测试视频的每帧人脸图像进行识别。...

【技术特征摘要】
1.一种基于增量学习人脸分块视觉表征的视频人脸识别方法，其特征在于，包括如下步骤：步骤S1：对读入的一段时间的人脸图像序列，使用Adaboost算法对第一帧的正面人脸图像进行检测，得到目标人脸，使用Camshift算法对人脸图像序列进行处理，跟踪得到所有人脸图像；步骤S2：在读入人脸图像序列的过程中，对通过人脸目标检测和人脸运动跟踪获得的人脸图像进行增量聚类；步骤S3：增量聚类过程中，对增量聚类得到的每一类人脸图像中，选取该类的代表；步骤S4：将所有选出的人脸图像都进行矩形块分割；步骤S5：对人脸图像分割的每个矩形块提取特征向量；步骤S6：对提取出来的所有特征向量，使用vectorquantization算法进行分类，学习人脸视觉词汇，将学习到的所有视觉词汇统计起来，形成人脸视觉词汇词典；步骤S7：通过空间金字塔匹配方法，使用人脸视觉词汇对人脸图像进行表征，人脸图像表示为由人脸视觉词汇表示的直方图；在训练阶段，将训练视频集中选取的作为代表的人脸图像都使用人脸视觉词汇表征；在识别阶段，将测试视频中的每帧测试图像都经过步骤S4到步骤S7的处理，用人脸视觉词汇表征；步骤S8：通过时序相似矩阵对测试视频的每帧人脸图像进行识别，实现方法为：步骤8.1：对测试视频中每帧测试图像，计算该测试图像用人脸视觉词汇表示的特征，到训练视频集中各代表人脸图像用人脸视觉词汇表示的特征的余弦相似距离，得到相似距离矩阵；测试图像特征ft到训练视频集中第j个人第k个类代表人脸图像特征fkj的余弦相似距离dkj为：dkj＝ρ(ft,fkj),k＝1,...,Cj，其中，Cj为第j个人的类代表的个数，ρ表示余弦相似距离计算，步骤S8中所述的图像特征是指图像用人脸视觉词汇表示的特征；步骤8.2：通过相似距离矩阵，确定测试图像与训练视频集中每个人的相似距离，对相似距离赋予权重，得到测试图像与第j个人的身份得分；测试图像与训练视频集中第j个人的相似距离sj为：其中，表示测试图像特征到训练视频集中第j个人所有类代表人脸图像特征的余弦相似距离的最大值，表示测试图像特征距离训练视频集中第j个人所有类代表人脸图像特征的余弦相似距离的最小值；对相似距离sj赋予权重Wj，得到测试图像与第j个人的身份得分scorej：scorej＝α(Wjsj-β)...

【专利技术属性】
技术研发人员：张兆翔，王超，王蕴红，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：