基于面部识别的人体运动追踪方法及装置制造方法及图纸

本发明专利技术提供一种基于面部识别的人体运动追踪方法及装置。该方法包括：输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；在初始帧F1图片中提取目标人脸的特征点坐标以便确定初始帧F1图片中的目标区域，将目标区域作为初始帧F1图片中的最终追踪区域T1'，并计算T1'的颜色直方图；根据上一帧Fi‑1图片中的最终追踪区域Ti‑1'，利用卡尔曼滤波器预测当前帧Fi图片中的搜索区域Si，在Si中对颜色直方图作反向直方图确定当前帧Fi图片中的参考追踪区域Ti；根据Ti和预训练的层次支持向量机确定当前帧Fi图片中的最终追踪区域Ti'；更新卡尔曼滤波器，对目标进行追踪。本发明专利技术能够解决目标被遮挡与颜色干扰问题，提高了追踪算法的鲁棒性和准确性。

【技术实现步骤摘要】
基于面部识别的人体运动追踪方法及装置
本专利技术涉及图像处理
，尤其涉及基于面部识别的人体运动追踪方法及装置。
技术介绍
随着全球经济的快速发展和科技水平的逐步提升，交通、安保、银行、建筑、电力、仓储甚至军事建设等领域对安全防范和视频监控的需求与日俱增，要求也越来越高。同时由于计算机硬件技术的发展，计算机在处理速度、存储容量、并行计算等方面性能的提高，为智能化的实时图像序列的快速处理提供了可能性。也就是说，随着信息爆炸与之而来的信息技术的飞速发展，监控视频的处理与分析在民用、商业、乃至国防安全和军事应用领域中具有广泛的市场需求。而人体运动追踪是其中的一个具体问题。由于人本身运动的复杂性与多变性使得它与传统的运动物体相比更加不易实现追踪。尽管在现实生活中，人类可以凭借视觉反馈的信息结合经验轻易判断出运动人物走向，并对其走向加以预测，当目标走失时再次在人群中进行搜索。但是当这一系列问题交由机器解决时，光线的变化、物体的遮挡、人物发生的形变等问题都将影响追踪结果，并且当目标短暂丢失时，如何找回也是问题。一方面,传统的追踪算法需要人为手工圈定追踪目标，在圈定追踪框后直接将整个框内内容确定为目标，而人手动圈定难免不够准确，区域过小则特征信息不够明确，而区域过大容易引入背景因素造成干扰；另一方面，对于运动物体追踪的传统算法往往只抓住某一特征，通常只在某类条件下追踪效果比较好而容易被噪声干扰。比如Camshift算法基于颜色特征，易于被相似颜色物体干扰；卡尔曼滤波能够根据物体以往运动进行预测，然而运动情况一旦复杂丢失不可找回；帧间差分算法则是在背景不变的条件下适用，一旦背景有所改变无法进行准确追踪。此外，关于追踪目标人物短暂丢失的找回也是追踪难题之一。
技术实现思路
为解决现有技术中存在的上述问题，本专利技术提供一种基于面部识别的人体运动追踪方法及装置。一方面，本专利技术提供一种基于面部识别的人体运动追踪方法，该方法包括：步骤1.输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；步骤2.在初始帧F1图片中提取所述目标人脸的特征点坐标；步骤3.根据所述特征点坐标确定初始帧F1图片中的目标区域，将所述目标区域作为初始帧F1图片中的最终追踪区域T1'，并计算T1'的颜色直方图；步骤4.根据上一帧Fi-1图片中的最终追踪区域Ti-1'，利用卡尔曼滤波器预测当前帧Fi图片中的搜索区域Si，在Si中对所述颜色直方图作反向直方图确定当前帧Fi图片中的参考追踪区域Ti，i为大于1的正整数；步骤5.根据Ti和预训练的层次支持向量机确定当前帧Fi图片中的最终追踪区域Ti'；步骤6.更新卡尔曼滤波器，并输入下一视频序列帧Fi+1，迭代执行步骤4至步骤6，对目标进行追踪。进一步地，所述目标区域为矩形。进一步地，所述特征点坐标包括左眼坐标A(x1，y1)，右眼坐标B(x2，y2)，鼻子坐标C(x3，y3)，左嘴角坐标D(x4，y4)和右嘴角坐标E(x5，y5)，并以初始帧F1图片的预设位置作为坐标原点。进一步地，所述步骤3中的根据所述特征点坐标确定初始帧F1图片中的目标区域具体包括：比较左眼横坐标x1和左嘴角横坐标x4，取较小值记为X；比较左眼纵坐标y1和右眼纵坐标y2，取较小值记为Y；比较两眼间距d(a,b)和差值|x2-x4|，取较大值记为width；比较差值|y2-y5|和差值|y5-y1|，取较大值记为height；根据所述X、Y、width和height确定目标区域。进一步地，所述Si的大小以预设比例大于Ti-1'的大小。进一步地，所述步骤5具体包括：步骤51.计算Ti的面积与Ti-1'的面积的比例值a；步骤52.计算Ti的面积与T1'的面积的比例值b；步骤53.将所述比例值a和比例值b分别与所述层次支持向量机中预设的颜色干扰阈值和前景遮挡阈值比较，确定Ti'。进一步地，所述步骤53具体包括：若比例值a大于颜色干扰阈值，则利用帧间差分算法根据Ti确定Ti'；若比例值b小于前景遮挡阈值，则将Si的中心区域作为Ti'，所述中心区域的大小与Ti-1'的大小一致。另一方面，本专利技术提供一种基于面部识别的人体运动追踪装置，该装置包括：人脸检测单元，用于输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；特征点提取单元，用于在初始帧F1图片中提取所述目标人脸的特征点坐标；目标区域计算单元，用于根据所述特征点坐标确定初始帧F1图片中的目标区域，将所述目标区域作为初始帧F1图片中的最终追踪区域T1'，并计算T1'的颜色直方图；参考追踪区域计算单元，用于根据上一帧Fi-1图片中的最终追踪区域Ti-1'，利用卡尔曼滤波器预测当前帧Fi图片中的搜索区域Si，在Si中对所述颜色直方图作反向直方图确定当前帧Fi图片中的参考追踪区域Ti，i为大于1的正整数；最终追踪区域计算单元，用于根据Ti和预训练的层次支持向量机确定当前帧Fi图片中的最终追踪区域Ti'；更新单元，用于更新卡尔曼滤波器，并输入下一视频序列帧Fi+1，对目标进行追踪。本专利技术的有益效果：本专利技术提供的基于面部识别的人体运动追踪方法及装置，第一，在面部识别之后自动根据提取到的特征点坐标圈定追踪区域，不再需要手工圈定，减少人为操作误差而造成的背景因素干扰，提升目标追踪的精确性；第二，通过加入预训练的HSVM进行情况分类，可以在不同的情况下做出与之相对应的决策，从而对追踪区域进一步校正；第三，融合了颜色特征、卡尔曼预测与帧间差分算法，结合历史画面与实时画面判断当前出现的情况，再采用当前最适合的算法。与传统算法相比能够有效的解决相似颜色干扰与物体遮挡的问题，并提高了追踪算法的准确性和鲁棒性。附图说明图1为本专利技术实施例提供的基于面部识别的人体运动追踪方法的流程示意图；图2为本专利技术实施例提供的HSVM的结构示意图；图3为本专利技术实施例提供的HSVM进行分类的示意图；图4为本专利技术实施例提供的初始帧F1图片的示意图；图5为本专利技术实施例提供的目标人物受遮挡情况下的追踪过程示意图；图6为本专利技术实施例提供的目标人物受遮挡情况下同时遇到相似颜色干扰的追踪过程示意图；图7为本专利技术实施例提供的基于面部识别的人体运动追踪装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的基于面部识别的人体运动追踪方法的流程示意图。如图1所示，该方法包括以下步骤：S101、输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；具体地，本步骤中，在对输入的视频序列帧进行人脸检测时，可以使用不依赖于任何第三方库函数并且开源的SeetaFace人脸识别系统。向SeetaFace导入目标人脸模板，可以将清晰显示出目标人物五官的正面照作为模板图片，导入指定文件夹存储。当将多个视频序列帧输入至SeetaFace之后，实时检测视频中是否有人脸出现，一旦有人脸出现且其与模板相似度大于设定阈值，则将该视频序列帧标记为初始帧F1。S102、本文档来自技高网...

【技术保护点】
1.一种基于面部识别的人体运动追踪方法，其特征在于，包括：步骤1.输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；步骤2.在初始帧F1图片中提取所述目标人脸的特征点坐标；步骤3.根据所述特征点坐标确定初始帧F1图片中的目标区域，将所述目标区域作为初始帧F1图片中的最终追踪区域T1'，并计算T1'的颜色直方图；步骤4.根据上一帧Fi‑1图片中的最终追踪区域Ti‑1'，利用卡尔曼滤波器预测当前帧Fi图片中的搜索区域Si，在Si中对所述颜色直方图作反向直方图确定当前帧Fi图片中的参考追踪区域Ti，i为大于1的正整数；步骤5.根据Ti和预训练的层次支持向量机确定当前帧Fi图片中的最终追踪区域Ti'；步骤6.更新卡尔曼滤波器，并输入下一视频序列帧Fi+1，迭代执行步骤4至步骤6，对目标进行追踪。

【技术特征摘要】
1.一种基于面部识别的人体运动追踪方法，其特征在于，包括：步骤1.输入视频序列帧，将首次检测到目标人脸的视频序列帧记为初始帧F1；步骤2.在初始帧F1图片中提取所述目标人脸的特征点坐标；步骤3.根据所述特征点坐标确定初始帧F1图片中的目标区域，将所述目标区域作为初始帧F1图片中的最终追踪区域T1'，并计算T1'的颜色直方图；步骤4.根据上一帧Fi-1图片中的最终追踪区域Ti-1'，利用卡尔曼滤波器预测当前帧Fi图片中的搜索区域Si，在Si中对所述颜色直方图作反向直方图确定当前帧Fi图片中的参考追踪区域Ti，i为大于1的正整数；步骤5.根据Ti和预训练的层次支持向量机确定当前帧Fi图片中的最终追踪区域Ti'；步骤6.更新卡尔曼滤波器，并输入下一视频序列帧Fi+1，迭代执行步骤4至步骤6，对目标进行追踪。2.根据权利要求1所述的方法，其特征在于，所述目标区域为矩形。3.根据权利要求2所述的方法，其特征在于，所述特征点坐标包括左眼坐标A(x1，y1)，右眼坐标B(x2，y2)，鼻子坐标C(x3，y3)，左嘴角坐标D(x4，y4)和右嘴角坐标E(x5，y5)，并以初始帧F1图片的预设位置作为坐标原点。4.根据权利要求3所述的方法，其特征在于，所述步骤3中的根据所述特征点坐标确定初始帧F1图片中的目标区域具体包括：比较左眼横坐标x1和左嘴角横坐标x4，取较小值记为X；比较左眼纵坐标y1和右眼纵坐标y2，取较小值记为Y；比较两眼间距d(a,b)和差值|x2-x4|，取较大值记为width；比较差值|y2-y5|和差值|y5-y1|，取较大值记为height；根据所述X、Y、wi...

【专利技术属性】
技术研发人员：陈立家，代震，赵瑞杰，冯子凯，薛政钢，汪晓群，冯帅栋，管禹，王敬飞，赵成伟，袁蒙恩，
申请(专利权)人：河南大学，河南宙合网络科技有限公司，
类型：发明
国别省市：河南,41