一种基于视频多帧人脸特征融合的人脸识别方法及装置制造方法及图纸

技术编号:17796937 阅读:82 留言:0更新日期:2018-04-25 20:26
本申请公开了一种基于视频多帧人脸特征融合的人脸识别方法及装置,该方法包括:采集监控视频中待识别的n帧人脸图像,n≥1;从n帧人脸图像中选取m帧人脸图像,对m帧人脸图像进行特征提取,生成与m帧人脸图像一一对应的特征向量{fi},i=1,2,....,m,1≤m≤n;将m个特征向量{fi}融合成一个特征向量r,将特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。本申请提供的人脸识别方法对监控视频中多帧人脸图像进行检测、特征提取,并将提取的多个人脸特征融合成一个人脸特征用于识别,不仅减少了特征的比对次数,同时降低了人脸角度偏转、运动模糊、逆光等对提取人脸图像特征的影响,应用于多动态视频采集环境下,可有效提升人脸识别准确率。

Face recognition method and device based on video multi frame face feature fusion

This application discloses a face recognition method and device based on video multi frame face feature fusion. The method includes: collecting the N frame face image to be identified in the monitored video, n > 1, selecting the M frame face image from the face image of the N frame, extracting the feature of the M frame face image, and generating one by one correspondence with the face image of the M frame. Feature vector {fi}, I = 1, 2,..., m, 1 less than m < n; the M feature vector {fi} is fused into a feature vector r, and the feature vector r is compared with the face features in the database to identify the face identity in the monitored video. The face recognition method provided by this application is used to detect and extract the multi frame face images in the monitored video, and the extracted face features are fused into one person's face feature for recognition, which not only reduces the number of features, but also reduces face angle deflection, motion blur and reverse light to extract face images. The influence of feature is applied to multi dynamic video capture environment, which can effectively improve the accuracy of face recognition.

【技术实现步骤摘要】
一种基于视频多帧人脸特征融合的人脸识别方法及装置
本申请涉及人工智能图像处理
,尤其涉及多动态环境下,一种基于视频多帧人脸特征融合的人脸识别方法及装置。
技术介绍
随着视频监控系统的普及和逐渐增加的发展需求,人脸识别已经取得了长足的发展。现如今,“移动电子眼”的触角正在慢慢深入到城市的各个角落,扮演越来越重要的角色,为我们的“平安城市”保驾护航。平安城市也是衡量一个城市现代化管理水平的重要体现,是实现一个城市乃至整个国家安全和稳定的重要措施。建立合理、有效的城市视频监控管理系统,才能使政府管理部分在第一时间发现问题,提出应对措施及应急预案。视频人脸识别是基于人的面部特征信息,从视频中实时查找人脸,并与人脸数据库进行实时比对,从而实现快速身份识别的一种技术。现有的基于视频的人脸识别方法及装置是采用单帧图像识别,即将视频中的多帧图像逐帧取出,将各帧图像中的人脸分别与人脸数据库进行比对识别,并且当各帧的比对识别结果满足某一预设条件时,认为识别出了人脸。城市视频监控管理系统中的监控装置,例如,摄像头、监控录像等往往采集到的图像比较模糊,现有技术中,通过模糊算法可以对模糊图像进行处理。而对于双动态图像,也就是在双动态环境中采集到的图像,例如,行驶车辆上的摄像头采集路边行人图像,由于高速运动、车辆抖动、距离变化等因素导致采集到的双动态人脸图像出现运动模糊、抖动、遮挡、光线不足以及侧脸等质量问题。采用传统的基于单帧图像的人脸识别方法及装置识别人脸时,容易因图像质量问题造成人脸身份识别错误,或者需要通过多次识别才能正确识别出视频中的人脸身份,甚至无法识别人脸身份,这造成了视频人脸识别技术的准确率大打折扣。
技术实现思路
本申请提供了一种基于视频多帧人脸特征融合的人脸识别方法及装置,以解决目前视频人脸图像存在质量问题,造成人脸识别准确率较低的技术问题。为了解决上述技术问题,本申请实施例公开了如下技术方案:第一方面,本申请实施例公开了一种基于视频多帧人脸特征融合的人脸识别方法,所述方法包括:采集监控视频中待识别的n帧人脸图像,n≥1;从n帧所述人脸图像中选取m帧人脸图像,对m帧所述人脸图像进行特征提取,生成与n帧所述人脸图像一一对应的特征向量{fl},i=1,2,....,m,1≤m≤n;将m个所述特征向量{fl}融合成一个特征向量r,将所述特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。可选的,所述将m个所述特征向量{fl}融合成一个特征向量r,包括:将m个所述特征向量{fl}经过至少一层特征融合,最终融合成一个特征向量r。可选的,将m个所述特征向量{fl}经过单层特征融合,最终融合成一个特征向量r,包括:根据所述特征向量{fl}生成与每个特征向量对应的线性权值{al};通过公式(1)将m个所述特征向量{fl}融合成一个特征向量r;其中,可选的,所述根据所述特征向量{fl}生成与每个特征向量对应的线性权值{al},包括:将所述特征向量{fl}通过公式(2)、(3)生成线性权值(al};ei=g({fl})(2)其中,i与j相互独立。可选的,公式(2)中,g({fl})=qTfl,其中,q为与人脸图像特征相同长度的参数向量。可选的,当q取值为fl时,公式g({fl})=qTfl变成g({fl})=flTfl,计算得到权值可选的,将m个所述特征向量{fl}经过k层特征融合,最终融合成一个特征向量r,包括:将m个所述特征向量{fl}与参数向量q0通过第一层特征融合层进行特征融合,得到融合特征r0;根据所述融合特征r0计算得到参数向量q1,并将m个所述特征向量{fl}与参数向量q1通过第二层特征融合层进行特征融合,得到融合特征r1;依此类推,根据公式(4)计算得到参数向量qk-1;qk-1=tanh(Wk-2rk-2+bk-2)(4)其中,W和b分别为矩阵的权重和偏置;k≥2:根据参数向量qk-1求解得到对应的特征权值{alk};根据所述特征权值{alk}求解得到第k层特征融合层融合后的融合特征rk。第二方面,本申请实施例公开了一种基于视频多帧人脸特征融合的人脸识别装置,所述装置包括:图像采集模块,用于采集监控视频中待识别的n帧人脸图像,n≥1;特征提取模块,用于从n帧所述人脸图像中选取m帧人脸图像,对m帧人脸图像进行特征提取,并生成对应的特征向量{fl},i=1,2,...,m,1≤m≤n;特征融合模块,用于将m个所述特征向量{fl}融合为一个特征向量r;识别模块,用于将特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。可选的,所述特征融合模块包括一个或多个特征融合模块,用于对m个所述特征向量{fl}进行一层或多层特征融合,最终得到一个特征向量r。可选的,所述特征融合模块包括:第一层特征融合模块,用于对m个所述特征向量{fl}与参数向量q0进行第一次特征融合,得到融合特征r0;第二层特征融合模块,与所述第一层特征融合模块级联,用于对m个所述特征向量{fl}与参数向量q1进行第二次特征融合,得到融合特征r1;第k层特征融合模块,与第k-1层特征融合模块级联,用于对m个所述特征向量{fl}与参数向量qk-1进行第k次特征融合,得到融合特征rk,其中,k≥2。与现有技术相比,本申请的有益效果为:本申请提供的基于视频多帧人脸特征融合的人脸识别方法及装置,该方法包括:采集监控视频中待识别的n帧人脸图像,n≥1;从n帧人脸图像中选取m帧人脸图像,对m帧人脸图像进行特征提取,生成与m帧人脸图像一一对应的特征向量{fl},i=1,2,....,m,1≤m≤n;将m个特征向量{fl}融合成一个特征向量r,将所述特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。本申请提供的人脸识别方法对监控视频中多帧人脸图像进行检测、特征提取,并将提取的多个人脸特征融合成一个人脸特征用于识别,不仅能够减少特征在人脸数据库中的比对次数,同时能够减少人脸角度偏转、对焦模糊、运动模糊、逆光等对人脸图像特征的影响,从而能够有效地提高人脸识别准确率。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。附图说明为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种基于视频多帧人脸特征融合的人脸识别方法的流程图;图2为本申请实施例提供的基于视频多帧人脸特征融合的人脸识别方法中经过2层特征融合的流程示意图;图3为本申请实施例提供的采用单层特征融合与2层特征融合的人脸识别准确率对比图;图4为本申请实施例提供的一种基于视频多帧人脸特征融合的人脸识别装置的结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。人脸作为人类的一个基本的生物特征,在复杂本文档来自技高网
...
一种基于视频多帧人脸特征融合的人脸识别方法及装置

【技术保护点】
一种基于视频多帧人脸特征融合的人脸识别方法,其特征在于,所述方法包括:采集监控视频中待识别的n帧人脸图像,n≥1;从n帧所述人脸图像中选取m帧人脸图像,对m帧所述人脸图像进行特征提取,生成与m帧所述人脸图像一一对应的特征向量{fi},i=1,2,....,m,1≤m≤n;将m个所述特征向量{fi}融合成一个特征向量r,将所述特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。

【技术特征摘要】
1.一种基于视频多帧人脸特征融合的人脸识别方法,其特征在于,所述方法包括:采集监控视频中待识别的n帧人脸图像,n≥1;从n帧所述人脸图像中选取m帧人脸图像,对m帧所述人脸图像进行特征提取,生成与m帧所述人脸图像一一对应的特征向量{fi},i=1,2,....,m,1≤m≤n;将m个所述特征向量{fi}融合成一个特征向量r,将所述特征向量r与数据库中的人脸特征进行比较,以识别监控视频中的人脸身份。2.根据权利要求1所述的方法,其特征在于,所述将m个所述特征向量{fi}融合成一个特征向量r,包括:将m个所述特征向量{fi}经过至少一层特征融合,最终融合成一个特征向量r。3.根据权利要求2所述的方法,其特征在于,将m个所述特征向量{fi}经过单层特征融合,最终融合成一个特征向量r,包括:根据所述特征向量{fi}生成与每个特征向量对应的线性权值{ai};通过公式(1)将m个所述特征向量{fi}融合成一个特征向量r;其中,4.根据权利要求3所述的方法,其特征在于,所述根据所述特征向量{fi}生成与每个特征向量对应的线性权值{ai},包括:将所述特征向量{fi}通过公式(2)、(3)生成线性权值{ai};ei=g({fi})(2)其中,i与j相互独立。5.根据权利要求4所述的方法,其特征在于,公式(2)中,g({fi})=qTfi,其中,q为与人脸图像特征相同长度的参数向量。6.根据权利要求5所述的方法,其特征在于,当q取值为fi时,公式g({fi})=qTfi变成g({fi})=fiTfi,计算得到权值7.根据权利要求2所述的方法,其特征在于,将m个所述特征向量{fi}经过k层特征融合,最终...

【专利技术属性】
技术研发人员:史方邹佳运王标杨瑞峰
申请(专利权)人:成都视观天下科技有限公司
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1