采用单目视觉的三维重建来进行步态识别的方法技术

本发明专利技术公开了一种采用单目视觉的三维重建来进行步态识别的方法，目的是解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机ΔL处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间三维曲线中步幅、步高特征值，利用支持矢量机的方法完成身份识别。本发明专利技术解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题。

【技术实现步骤摘要】

本专利技术涉及单视角条件下步态识别方法，尤其是身份识别中基于单摄像机即单目视觉的利用三维重建人体步行轨迹来进行步态识别的方法。
技术介绍
步态识别是远距离身份识别技术一个新兴子领域，它是根据人走路的姿态、方式等行为特征来实现个体的身份识别。步态识别与以往基于生物特征的识别技术比较，具有远距离识别、非侵犯、不易隐藏、对图像(视频)质量要求低等优点。在某些特定的场合中，无法通过交互性接触采集到人脸、指纹和虹膜等生理特征，而步态特征可以实现远距离的非接触性的采集，因此步态特征在这类特定场合下成为了唯一可以用于身份识别的生物特征。目前，步态识别技术广泛应用于社会安防和反恐维稳等领域，将视频处理技术与步态识别技术结合，智能分析公众场合下的监控视频，自动识别出隐藏于人群中的危险人物，并发出警报，实现有效预防意外事件的发生。2000年，美国国防部高级研究计划局DARPA (Defense Advanced Research Project Agency)资助的 HID (Human Identificationat a Distance)研究计划，集合了包括麻省理工学院等26家高校和科研机构，进行远距离情况下行为人的检测和识别的研究。它的任务就是开发多模态的、大范围的视觉检测技术，以实现对人体的检测、分类和识别，这一计划的实施有力的推动了远距离生物特征识别技术的研究和发展。目前用于步态识别的特征参数主要有两类基于二维图像平面的步态特征参数和基于三维立体空间的步态特征参数。这两类步态特征在用于步态识别过程中表现出来的优势和问题都十分明显。基于人体序列轮廓图像提取步态特征参数是二维步态特征提取的代表性方法，Wagg 等在 2004 年第 15 期《Computer Animation and Virtual Worlds》发表的“Automated Marker less Extraction of Walking People Using Deformable ContourModels” 一文中提出了二维步态识别的四个步骤 第一步，按照固定角度放置摄像头，对人体行走过程的视频进行采集；第二步，对采集到的视频进行初始化和预处理，得到一系列二维的包含人体步态信息的图像序列；第三步，去除序列中每帧二维图像中的背景，得到序列人体轮廓。将序列人体图像叠加在一帧图像中，借助于运动补偿时变累积算法，建立了轴向旋转运动及垂直震荡运动模型，结合线性霍夫变换求出胯部、膝盖及脚踝处的平均宽度的特征集。第四步，对得到特征集进行分类识别，确定身份信息。基于二维图像提取步态特征参数，算法实现相对简单，执行效率较高。但是，基于二维图像的步态特征参数受监控摄像头视角影响很大，这类步态特征参数会随着视角的变化而变化，严重影响身份识别的准确率。对于预先设定好的世界坐标系，三维场景空间是唯一确定的，且三维场景下提的步态特征参数具有很好的视角鲁棒性，消除了视角对步态识别精度的影响，减少提取的步态特征的误差，所以三维步态识别能够取得较高的准确率。目前，人体运动三维重建研究多采用多目相机捕获步态数据，通过三维重建获得的人体运动特征。明东等在申请号为200910068882. 4的专利“基于人体运动结构正投影三维重建的步态识别方法”提出在Wagg的步骤三中进行人体步态的三维重建，在十一个固定摄像头的条件下进行步态识别。人体运动的三维重建是三维空间步态特征提取过程中的关键步骤之一，文章将不同摄像头采集的图像提取人体轮廓后进行三维投影，从而利用图像序列得到人体轮廓运动三维轨迹，提取三维轨迹特征值进行身份识别。但是，此方法对环境的要求较为苛刻，在现实环境中往往都是利用单摄像头实现对公共环境的监控，很难实现多摄像头对同一场景的采集，因此常规基于双目或多目视觉的步态识别方法不适用于监控场景内人体运动的三维重建，因此不适于公共场所的步态识别。为了减少步态识别的成本，提高步态识别的识别率。近期，如何利用在单视角下采集的单幅二维图像实现三维场景的重建以进行步态识别成为研究热点，其中代表性的方法是 Zhang 和 Troje 在 2007 年发表的文章 “3D Periodic Human Motion Reconstructionfrom 2DMotion Sequences”提出的周期性步态运动三维重建算法。该方法采用傅里叶分解构造了人体运动的简洁表达式，通过一组样本来训练一个低维的线性模型，多幅二维图像的数据采用最小二乘法投影到这个模型上。由于建立的低维线性模型与实际轨迹拟合较差，从而形成一个粗糙的三维模型。它实现了基于单目视觉的步态运动三维重建，实验效果良好。但是该方法必须满足一定的假设条件(I)测试样本和训练样本的摄像机角度必须 相一致；(2) 二维图像是人体运动的一个正投影，即人行走的轨迹方向垂直于摄像机的光轴。这些严格的假设条件极大程度地限制了该方法在身份识别中的应用。使得身份识别对环境的要求过大，成本过高，且识别率较低。因此，如何降低成本、精确构建三维模型、提高步态识别率仍是本领域技术人员极为关注的技术问题。技术方案本专利技术要解决的技术问题是提出一种采用单目视觉的三维重建来进行 步态识别的方法，解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。构建的三维模型在单视角条件下将步态三维轨迹重建中时间的周期性变换为空间的多维性，同时得到二维图像法方向上的步态信息，通过获取法方向的数据，有效提高实验精度和识别概率，避免二维步态轨迹建立时摄像机角度对实验结果的影响。本专利技术的技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机Λ L处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间二维曲线中步幅、如步幅、后步幅、步闻特征值，利用支持矢量机的方法完成身份识别。本专利技术包括以下步骤第一步，标定单个摄像机。结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数。方法是1.1.构建实验场景。标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45° -135°之间，并将立体标定靶放置于摄像机视场内。I. 2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为X轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心O。为摄像机坐标系的坐标原点，以摄像机主轴为Z。轴，以平行于X轴且通过O。的直线为摄像机坐标系轴X。，以平行于I轴且通过O。的直线为摄像机坐标系轴Y。，建立摄像机坐标系Οε-ΧεΥεΖ。。同时，根据现实世界的水平面确立Ow-XwYw面，根据垂直方位建立轴Zw，建立世界坐标系Ow-XwYwZw作为一个基准坐标系来描述空间点和摄像机的位置，Ow为世界坐标系的坐标原点；I. 3 利用张正友 2OOO 年在 IEEE Trans. Pattern Analysis and MachineIntelligence 第 20 期文章“A flexibl本文档来自技高网...

【技术保护点】

【技术特征摘要】
1. 一种采用单目视觉的三维重建来进行步态识别的方法，其特征在于包括以下步骤 第一步，结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数，方法是 · 1.1.构建实验场景标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45° -135°之间，并将立体标定靶放置于摄像机视场内； I.2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为X轴和y轴，建立图像坐标系O-xy ;在空间中，以摄像机中心O。为摄像机坐标系的坐标原点，以摄像机主轴为Z。轴，以平行于X轴且通过O。的直线为摄像机坐标系轴X。，以平行于y轴且通过O。的直线为摄像机坐标系轴Y。，建立摄像机坐标系Oe-XcTc^ ;同时，根据现实世界的水平面确立Ow-XwYw面，根据垂直方位建立轴Zw，建立世界坐标系Ow-XwYwZw作为一个基准坐标系来描述空间点和摄像机的位置,Ow为世界坐标系的坐标原点； I.3利用基于二维平面模板的摄像机标定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数图像坐标系原点0在摄像机坐标系中的图像坐标(cx, cy)、焦距f与摄像机单个像元在X轴方向投影的物理尺寸fx、焦距f与摄像机单个像元在I轴方向投影的物理尺寸fy ; ·1.4采用基于立体标定靶摄像机标定方法和(cx，cy)、fx、fy，以立体标定靶为输入得到摄像机的外参数摄像机在世界坐标系中的位置和姿态； 第二步，跟踪获取人体步态二维轨迹 · 2.I运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列； ·2.2利用背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象；采用Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓；利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪占. ·2.3利用目标跟踪mean-shift算法预测下一帧图像中人体运动对象检测区域； ·2.4根据步骤2. 2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹； 第三步，利用二维轨迹的步态周期信息构建一台虚拟摄像机，将虚拟摄像机安放在距实体摄像机AL的位置，AL为人体步态周期平移量，运用多视角重建理论重建步态中脚踝顶点的三维轨迹，方法...

【专利技术属性】
技术研发人员：张军，李国辉，涂丹，黄伟强，来旭，李硕豪，黄魁华，侯金鑫，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：