一种基于3D投影的跨视角步态识别方法技术

本发明专利技术公开了一种基于3D投影的跨视角步态识别方法，该方法主要包括二维步态图像处理，重心轨迹提取，三维步态特征还原和三维视角转换四个步骤，该方法实现了不同拍摄视角之间步态特征精确转换的步态识别，并且可以将摄像机中平面图像的步态特征还原为3D空间中的立体步态特征，从而使步态识别过程不再需要多台摄像机实现立体还原。同时，由于该方法极大的提高了跨视角步态识别的运算速度和不受拍摄视角影响的特点，任意位置的摄像机拍摄得到的步态图像均可以进行识别，使用该方法开发出的步态识别系统既可应用于简单的门禁系统的开发，也可应用于流量大的街道、机场、公交站等公共场所监控系统的开发，使智能监控水平上升到一个新的高度。

【技术实现步骤摘要】
一种基于3D投影的跨视角步态识别方法
本专利技术涉及视频图像识别领域，具体涉及一种基于3D投影的跨视角步态识别方法。
技术介绍
步态是远距离识别的唯一特征，而且具有难以伪装、不需目标配合的独特优势。由于步态具有连续变化和周期循环的特点，当行人刻意伪装步态破坏到行走周期性时，极易引起他人察觉，这正是步态识别与人脸识别、指纹识别相比最为独特的优势。当前的步态特征提取方法主要分为模型法和移动法。模型法是指根据步态图像中人体的结构进行建模，将人体模型的移动特征作为步态特征。该类方法由于要牵涉到人体的具体形状，而不同的视角下拍摄得到的2D人体形状是有较大差距的，所以该类方法实现3D跨视角识别的唯一方法是通过设置多个摄像头对人体步态进行全方位拍摄，将各个角度下拍摄到的2D图片通过重构、组合，还原成3D视角下的立体步态特征，方可实现跨视角的精确识别。该方法会产生庞大的计算量，运算过程缓慢，而且对摄像头的数量、拍摄质量、分辨率均有较高要求，所以不适用于现实生活中步态识别系统的应用。移动法是指将包含步态的图片视为二维矩阵，通过数学中PCA、LDA等分析方法，对矩阵的特征进行分析，从而得到步态特征。该类方法具有简便、实用性强的优点，然而识别精度不高。原因在于该类方法对人体区域的完整性要求较高，前期图像处理产生的噪声、或者拍摄过程中偶然的干扰均会对提取到的特征产生很大影响。原因在于该类方法主要基于人体在行走过程中腿部、手臂的规律摆动，而没有考虑到人体在行走过程中的整体特征，从而导致当腿部、手臂等关键部分的信息被遮挡时丧失识别能力。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于3D投影的跨视角步态识别方法。为了达到上述专利技术目的，本专利技术采用以下技术方案：一种基于3D投影的跨视角步态识别方法，包括下述步骤：S1、使用三帧差分法消除原始步态视频中的背景，得到行人的运动图像，并对图像进行二值化处理，得到行人行走的黑白图像；S2、计算得到运动目标中每一帧图像的重心坐标并在同一坐标系中连接，得到行人的重心轨迹；S3、根据步骤S2中行人的重心轨迹,采用直线拟合的方法拟合出反映重心轨迹上升或下降趋势的直线，并用该直线的斜率来估计摄像机拍摄的仰角或俯角，同时将行走方向与摄像机光轴的夹角作为侧面方向，仰角或俯角与侧面方向结合即为立体三维空间中的视角方向；S4、根据上述立体三维空间中的视角方向计算出与该视角方向垂直的视角平面，并将该视角平面称为目标视角平面，将测量得到的重心轨迹按照帧序号分布在所述目标视角平面上，并计算出重心轨迹在X,Y,Z轴的坐标，从而得出重心轨迹映射到目标视角平面上的3D重心轨迹方程；S5、将上述的3D重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征。优选的，在步骤S1中，采用三帧差分法将高斯滤波后的图像转化为运动目标的二值图像，具体计算如下：式中：In(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，In-1(x)表示第n-1帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，In-2(x)表示第n-2帧图像在像素位置x处的灰度域值，Tn(x)则表示第n帧图像灰度变化的阈值；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为位置x处的像素点属于运动目标，将位置x处的像素点的像素值设置为255，其余的像素值设置为0。优选的，在步骤S2中，重心轨迹提取方法如下：S21、首先通过目标区域像素计算得到每帧图像中人体的重心坐标，计算公式如下：其中，N为目标区域内像素点数，xw(i)为人体重心的横坐标值，yw(i)为人体重心的纵坐标值，xi为像素点i的横坐标，yi为像素点i的纵坐标，Area为人体区域。S22、根据目标高度归一化重心坐标值，具体采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除因行人与摄像机距离的变化导致的图像缩放对重心的坐标产生的影响，公式如下：h＝ymax-ymin式中，h表示当前帧人体高度，ymax表示人体目标的y坐标最大值，ymin表示人体目标的y坐标最小值，gait1表示初始得到的重心坐标值，gait2表示归一化后的重心坐标值，依次求出视频中每帧图像的目标重心并记录；S23、根据重心计算公式计算测试者的重心位置，计算并实时记录跟踪重心位置的移动轨迹，将运动轨迹波形存储，构建步态波形数据库。优选的，在步骤S4中，所述重心轨迹映射到目标视角平面的具体方法如下：S41、所述的直线拟合的方法选用最小二乘法，拟合出反映所述行人的重心轨迹上升或下降趋势的直线，具体公式如下：Gα＝dα＝(α0,α1…,αn)T式中，表示一个函数类，表示相互线性无关的函数，一般取G表示格莱姆矩阵，α是直线方程的系数向量，对应的αn即为直线的斜率，由于该拟合是线性拟合，所以n取1，此时即得到拟合后的直线方程为y＝α0+α1x。S42、已知上述拟合得到的直线斜率αn，此处αn即为实际拍摄过程中因摄像机与拍摄者距离的变化而产生仰角或俯角；S43、而视角在水平面的旋转方向则表示为摄像机光轴方向与行走方向的夹角，该夹角在拍摄过程中进行记录，或通过原始视频进行估计，此时能够根据拟合直线的斜率和摄像机光轴方向与行走方向的夹角还原出实际拍摄过程中的立体视角平面；S44、构造三维空间XYOZ，将得到的立体视角方向向量置入三维空间中，计算方向向量的法平面，即得到还原后三维空间中的立体视角平面，定义该平面为目标视角平面，然后将行人的重心轨迹的点序列按照序号均匀分布到目标视角平面上，即完成将重心轨迹分布到立体空间中并得到重心轨迹方程。优选的，在步骤S5中，将重心轨迹投影到目标视角平面的具体方法为：将重心轨迹方程向目标视角平面进行投影，投影后的重心轨迹即为视角转换后的重心轨迹，设已有的重心轨迹方程如下：已知目标视角平面方程为：Ax+By+Cz+D＝0则投影后的重心轨迹方程可表示为：y＝ψ(t)-BΦ(t),z＝ω(t)-CΦ(t),式中，其中，表示的是把时间t映射到重心轨迹的x坐标的函数，ψ(t)表示的是把时间t映射到重心轨迹的y坐标的函数，ω(t)表示的是把时间t映射到重心轨迹的z坐标的函数，t表示的是行人行走的时间。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术不仅能解决当前提取特征方法面临的难题，还能从复杂的步态图像中提取出一维的步态特征向量，便于进一步的分析、训练和识别。2、采用本专利技术的技术方案，已知一个人行走一次的步态序列特征，当其改变其服饰(包括覆盖至腿部以下的服饰)、携带物和行走方向时，得到的步态特征是类相似的，可以有效与其他行人提取的特征区分开。3、本专利技术将重心的波动轨迹作为步态描述的基本特征，重心波动同时受到骨骼密度、肢体躯干比例、腿部长度等多方面因素的影响，具有不易伪装的优势，而且通过以点代面的方式动态地研究步态规律，避免了传统的轮廓分析的复杂过程。即使行人轮廓被部分遮挡，只要能拍摄到行人行走周期的视频，即可提取出重心的波动。4、本专利技术中二维图像的重心计算公式使用了加和的计算方法，可以有效地消除运动目标检测过程中引起的空洞和随机噪声，所以对于不具有较高清晰度的步态视频仍可以进行提取和识别。5、本专利技术充分考虑到了实际本文档来自技高网...

【技术保护点】
一种基于3D投影的跨视角步态识别方法，其特征在于，包括下述步骤：S1、使用三帧差分法消除原始步态视频中的背景，得到行人的运动图像，并对图像进行二值化处理，得到行人行走的黑白图像；S2、计算得到运动目标中每一帧图像的重心坐标并在同一坐标系中连接，得到行人的重心轨迹；S3、根据步骤S2中行人的重心轨迹,采用直线拟合的方法拟合出反映重心轨迹上升或下降趋势的直线，并用该直线的斜率来估计摄像机拍摄的仰角或俯角，同时将行走方向与摄像机光轴的夹角作为侧面方向，两个方向结合即为立体三维空间中的视角方向；S4、根据上述立体三维空间中的视角方向计算出与该视角方向垂直的视角平面，并将该视角平面称为目标视角平面，将测量得到的重心轨迹按照帧序号分布在所述目标视角平面上，并计算出重心轨迹在X,Y,Z轴的坐标，从而得出重心轨迹映射到目标视角平面上的3D重心轨迹方程；S5、将上述的3D重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征。

【技术特征摘要】
1.一种基于3D投影的跨视角步态识别方法，其特征在于，包括下述步骤：S1、使用三帧差分法消除原始步态视频中的背景，得到行人的运动图像，并对图像进行二值化处理，得到行人行走的黑白图像；S2、计算得到运动目标中每一帧图像的重心坐标并在同一坐标系中连接，得到行人的重心轨迹；S3、根据步骤S2中行人的重心轨迹,采用直线拟合的方法拟合出反映重心轨迹上升或下降趋势的直线，并用该直线的斜率来估计摄像机拍摄的仰角或俯角，同时将行走方向与摄像机光轴的夹角作为侧面方向，仰角或俯角与侧面方向结合即为立体三维空间中的视角方向；S4、根据上述立体三维空间中的视角方向计算出与该视角方向垂直的视角平面，并将该视角平面称为目标视角平面，将测量得到的重心轨迹按照帧序号分布在所述目标视角平面上，并计算出重心轨迹在X,Y,Z轴的坐标，从而得出重心轨迹映射到目标视角平面上的3D重心轨迹方程；S5、将上述的3D重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征。2.根据权利要求1所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S1中，采用三帧差分法将高斯滤波后的图像转化为运动目标的二值图像，具体计算如下：式中：In(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，In-1(x)表示第n-1帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，In-2(x)表示第n-2帧图像在像素位置x处的灰度域值，Tn(x)则表示第n帧图像灰度变化的阈值；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为位置x处的像素点属于运动目标，将位置x处的像素点的像素值设置为255，其余的像素值设置为0。3.根据权利要求1所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S2中，重心轨迹提取方法如下：S21、首先通过目标区域像素计算得到每帧图像中人体的重心坐标，计算公式如下：其中，N为目标区域内像素点数，xw(i)为人体重心的横坐标值，yw(i)为人体重心的纵坐标值，xi为像素点i的横坐标，yi为像素点i的纵坐标，Area为人体区域；S22、根据目标高度归一化重心坐标值，具体采用将每帧图像中...

【专利技术属性】
技术研发人员：杨天奇，陈欣，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东;44