视频监控图像中最清晰人脸的捕捉方法技术

本发明专利技术涉及一种视频监控图像中最清晰人脸的捕捉方法，利用快速离散傅里叶变换的方法选择最清晰人脸，包括：视频的获取；利用直方图均衡化、图像形态学处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；利用剔除区域相互包含的方法和ＹＣｂＣｒ统计特性的方法去除不正确的人脸；根据多帧图像中的人脸估计人脸的位置和速度以此来跟踪人脸；利用快速离散傅里叶变换判断人脸的清晰度选择具有最佳清晰度的人脸。本发明专利技术能快速实现人脸的检测和跟踪，实时处理监控视频，不需要大量的空间存储监控视频，节约了时间、空间和成本。

【技术实现步骤摘要】

本专利技术涉及一种，是一种摄像头监控 领域中的信息处理方法。
技术介绍
目前，单摄像头的监控广泛应用于工业控制，安全保障，交通监控，门禁系 统等领域。在很多领域(如安保系统，门禁系统)需要自动的将人脸的图像 在视频中检测出，并且记录。由于视频记录的是连续的图像，同一个人根据其 停留时间的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间 的浪费，也为后期的査找工作带来很大的麻烦，选择其中清晰度高的记录是一 种直观的可行办法。由于光线，视角，遮挡等因素，视频中检测到的人脸并不 总是正面清晰的，很可能是模糊的，从大量的连续图像中自动的选取一个清晰 人脸成为一个难题。经过对现有技术文献的查找发现，Ying-Li Tian等人在2005年的Computer Viskm and Pattern Recognition (计算机视觉与模式识别)会议上发表了题为 "Robust and efficient foreground analysis for real-time video surveillance"(实时视步页 监控中鲁棒有效的前景分析)的论文，该文用混合高斯模板的方法对背景进行 建模，然后通过灰度和纹理信息去除阴影，最后在得到的前景中检测人脸。该 方法很好的解决了甜景(人脸)的检测和跟踪问题，但是无法自动的从连续获 得的人脸图像中选择高清晰度的图像，没有解决从这一系列图像中选取清晰图 像的问题。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种视频监控图像中最清晰人 脸的捕捉方法，能够自动的从连续获得的人脸图像中选择高清晰度的图像。为实现上述目的，本专利技术利用快速离散傅里叶变换的方法，在大量人脸序列图像中选择最清晰人脸，包括视频的获取；利用直方图均衡化、图像形态学 处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；根据速度 估计跟踪人脸；利用快速离散傅里叶变换对人脸进行选择。 本专利技术的方法通过以下步骤实现1、 对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图 像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对 图像进行形态学处理。2、 对形态学处理后的每一帧图像用开源函数库opencv中改进的AdaBoost 方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和YCbCr统计特 性的方法去除不正确的人脸；对每一帧图像都使用上述人脸检测算法检测人脸； 记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向 和速度。3、 如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人 脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后 一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而 在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否 离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候 选图像。4、 对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去 除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶 变换值；将所有傅里叶变换值中最大的M个值所对应的候选图像挑选出来，从 中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其 中M为傅里叶变换值总数量的5 — 10%。图像是否清晰在频域是由其高频分量决定的，而高频分量越丰富，其傅里 叶变换值越大，通过一定的预处理，可以使傅単叶变换值与清晰度成正比关系， 以此来选择图像。本专利技术与现有技术相比的显著效果在于更加快速的实现人脸的检测和跟4踪，能够实时的处理监控视频。本专利技术能够从大量的人脸中选择最清晰的人脸 并且存储相关信息，不需要大量的空间存储监控视频，只需要少量空间存储关 键信息，节约了时间、空间和成本。 附图说明图1是本专利技术实施例中人脸跟踪部分的状态转移图。 具体实施例方式下面结合附图和实施例对本专利技术的技术方案作详细说明。以下实施例在以本 专利技术技术方案为前提下进行实施，给出了详细的实施方式和过程，但本专利技术的 保护范围不限于下述的实施例。本实施例具体步骤如下(1)视频捕获和图像预处理 由摄像头捕获视频，然后传输给后台程序进行处理。对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像 转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图 像进行形态学处理。为方便描述，假设此时环境亮度不高，先对亮度进行补偿。由于获取的图像的表达方式一般是使用RGB (红绿蓝)值，先将图像转换为HSI (色调、色饱和度、亮度)值表达，转换公式为<formula>formula see original document page 5</formula>其中<formula>formula see original document page 5</formula> 式中，R表示红色分量，G表示绿色分量，B表示蓝色分量，H表示色调，S表示色饱和度，I表示亮度。然后增加适当的I值，这时将彩色图像转换为黑白图像。 将得到的黑白图像做直方图均衡化。对所得到的所有图像点的灰度进行统计，得到每个灰度值的概率密度，对概率密度进行积分即可。 (2)人脸检测对预处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测 人脸。尽管这个方法可以提供非常高的检测率和很低的错检率，但仍然会有一 些错误的区域被当做人脸，如不是皮肤颜色的区域和相互包含的区域。本专利技术 对检测到的人脸利用剔除区域相互包含的方法和YCbCr (亮度、蓝色色度、红色 色度)统计特性的方法去除不正确的人脸。首先检查各个被认为是人脸的区域 的坐标和大小，如果发现有一个大区域包含了一个小区域，去除那个较大的。 然后检测各个区域的颜色，大量的统计表明，在YCbCr颜色空间中，只有那些值 在0〈Y〈1.01 ，0.52<Cb<0.66,0.32<Cr<0.63范围内的区域才可能有人脸。如果颜色 不在这个范围内，除去此区域。记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的 方向和速度。(3)人脸跟踪如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前-一帧人脸 的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一 帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在 后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离 开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选 图像。图l给出了本实施例中人脸跟踪部分的状态转移图。如图1所示，本歩骤如 下所述为便于描述，先定义几个变量。数组变量PRE用来记录本帧捕获的人脸信息。数组变量有以下两种 主要状态有用，无用。有用表示这个变量正被用于记录信息，无用表示这个 变量没有被使用或者已经被废弃。有用状态又有三个分支状态新的，正常的，消失的。新的表示这个变量存储的是一个新探测到的人脸信息，并且其置信值 小于置信阈值下限，还不能认为这是一个人脸。正常的表示这个人脸连续多次 被检测到。消失的表示这个人脸以前是正本文档来自技高网...

【技术保护点】
一种视频监控图像中最清晰人脸的捕捉方法，其特征在于包含以下步骤：　１）对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图像进行形态学处理；　２）对 形态学处理后的每一帧图像用开源函数库ｏｐｅｎｃｖ中改进的ＡｄａＢｏｏｓｔ方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和ＹＣｂＣｒ统计特性的方法去除不正确的人脸；记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向和速度；　３）如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在后一帧中未检测到，根据 人脸消失时间及人脸在图像中的位置来判断人是否离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选图像；　４）对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去除这些候选图像的边框部分，对剩余部分做快速离散 傅里叶变换，得到傅里叶变换值；将所有傅里叶变换值中最大的Ｍ个值所对应的候选图像挑选出来，从中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其中Ｍ为傅里叶变换值总数量的５－１０％。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李科，孙兵，刘欢喜，刘允才，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]