基于3D平稳小波的运动轨迹行为识别方法技术

本发明专利技术公开了一种基于3D平稳小波变换轨迹的行为识别方法，主要解决现有小波域行为识别技术对时空信息提取不充足和鲁棒性低的问题。其技术方案是：1.对视频进行时空可分离的3D平稳小波变换分解，得到时域高频和中频子带以及空时域各方向子带；2.基于时域高频和中频子带的熵对其进行加权融合；3.基于能量阈值在融合后的子带内提取特征点；4.使用空时域各方向子带构建特征点的小波系数描述子，并根据其欧式距离在相邻帧间匹配特征点，得到运动轨迹；5.在轨迹周围构造小波方向能量直方图特征，并构建该直方图特征的词袋模型，再通过SVM分类器进行识别分类。本发明专利技术提高了人体行为识别的准确率，可应用于异常行为检测和人机交互。

【技术实现步骤摘要】
基于3D平稳小波的运动轨迹行为识别方法
本专利技术属于视频处理
，更进一步涉及一种行为识别方法，可用于异常行为检测和人机交互。
技术介绍
近年来，计算机视觉作为一门新兴学科发展十分迅速，行为识别作为视频分析和理解的关键技术，重要的学术价值、潜在的商业价值和巨大的应用前景使其迅速成为计算机视觉领域研究的热点和难点，已广泛应用于视频检索、智能监控、机器人导航、智能交通及游戏娱乐等人机交互领域，越来越多的学者和机构在相关方面相继进行了大量的研究工作。人体行为分析的关键就是捕获视频中的运动信息以及帧序列间的关系，如何有效的从视频数据中获取时空信息成为行为识别领域的研究重点。一些学者发现小波变换多分辨率分析能力和优秀的时频分析特性有助于时空信息的挖掘和提取，将其与现有特征描述方法相结合用于行为识别。(1).ShaoL,GaoR.AWaveletBasedLocalDescriptorforHumanActionRecognition[C]//BMVC.2010:1-10。这种方法将二维小波变换与兴趣点检测方法相结合用于人体行为识别。该方法在时空兴趣点周围的立方体中进行2D小波分解，可以获得具备鉴别性和可靠性的描述子，特征维度低，对噪声、光照等影响具有一定的容许性，但该方法在进行小波分解时只选取局部立方体内的三个代表平面，对数据的覆盖范围不足，获取空时信息不充分。此外对于运动或背景较复杂的情况，基于兴趣点检测方法鲁棒性较差。(2).OmidyeganehM,GhaemmaghamiS,ShirmohammadiS.Applicationof3D-waveletstatisticstovideoanalysis[J].Multimediatoolsandapplications,2013,65(3):441-465。这种方法将3D小波变换与概率统计方法相结合用于人体行为识别。该方法将小波系数使用广义高斯分布拟合，能够在一定程度上获取视频序列空时信息以及小波系数间的依赖性，选用概率模型参数作为特征描述子有助于特征降维，但是仅采用全局特征表示方法对视频结构信息获取不足，且对复杂背景、噪声等干扰较为敏感。视频中的二维空间域和一维时间域的特性存在很大的差异，因此从直觉上应该针对这两者采用不同的处理方式而不是仅将二维空间方法扩展应用于联合三维空间，沿着视频序列对兴趣点进行跟踪是近些年学者们发现的适于处理上述问题的方法，然而目前并没有学者使用小波变换提取视频中运动轨迹，以将轨迹的优势引入小波域行为识别。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出一种基于3D平稳小波的运动轨迹行为识别方法，以更充分地提取视频序列中的时空信息，提高人体行为识别准确率。实现本专利技术目的的方案是：利用时空可分离的3D平稳小波变换提取视频中的运动信息，通过基于熵的高频和中频小波系数子带加权融合和基于能量阈值的特征点提取，提高对噪声、背景干扰的鲁棒性，依据连续帧间特征点小波描述子欧式距离最小原则对特征点进行追踪提取运动轨迹，充分获取视频时空信息，并进一步滤除无关特征点。在所提取轨迹周围按不同系数子带方向统计并构建能量特征，最后使用词袋模型编码特征后，输入SVM分类器实现行为识别，其具体实现步骤包括如下：(1)对行为视频进行时空可分离的3D平稳小波分解：(1a)将彩色视频数据转换为灰度数据，完成对视频数据的预处理；(1b)沿时间维方向对视频数据进行一维平稳小波分解，分解总级数为2，得到三个包含时域信息的系数子带：低频系数子带tLL，高频系数子带tH和中频系数子带tLH；(1c)分别逐帧对三个小波系数子带tLL，tH和tLH进行二维平稳小波分解，获取包含时空域信息的12×ls个12个方向的系数子带：tLL-LLj，tLL-LHj，tLL-HLj，tLL-HHj；tH-LLj，tH-LHj，tH-HLj，tH-HHj；tLH-LLj，tLH-LHj，tLH-HLj，tLH-HHj，其中j为小波分解级数，j＝1,2,...,ls，ls为分解总级数；(2)基于系数子带的熵对高频tH和中频子带tLH进行加权：(2a)将高频子带tH和中频子带tLH中系数值量化到[0-255]的灰度值范围内，分别在两个频率子带内，计算高频子带tH的熵Eh和中频子带tLH的熵Em；(2b)计算高频子带tH和中频子带tLH的权值：其中，wh和wm分别表示高频子带tH和中频子带tLH对应的权值，表示向上取整；(2c)对高频子带tH和中频子带tLH进行加权融合，得到融合后的系数子带：Fu＝wh×tH+wm×tLH；(3)基于系数能量阈值在融合后的子带内提取特征点：(3a)对于融合之后的系数子带Fu中的每一个点，在其三维立方体邻域内，计算该邻域中所有系数值的平均能量值(3b)将作为融合之后的系数子带Fu中的每一个系数的能量值E(x,y,t)，设定阈值为TE，通过比较E(x,y,t)和TE的大小，区分出特征点：若E(x,y,t)≥TE，则认为该能量值对应的像素点为特征点，若E(x,y,t)＜TE，则认为该能量值对应的像素点不是特征点；(4)使用步骤(1c)中获得的各方向小波系数子带，对特征点进行描述，得到特征点的小波系数描述子；(5)依据两点的小波系数描述子间的欧式距离最小原则，对相邻帧间特征点进行匹配，得到视频的运动轨迹；(6)在沿轨迹弯曲的立方体内，构造小波方向能量直方图特征：(6a)以提取的各条轨迹为中心，构建沿轨迹弯曲的立方体；(6b)以步骤(1c)中获得的子带tLH-LHj为例，根据步骤(3)中能量计算方法，计算tLH-LHj中系数的能量值；(6c)在沿轨迹弯曲的立方体中，将各级小波分解所得子带tLH-LLj的系数所对应的能量值进行直方图统计，得到tLL-LLj子带方向的能量直方图向量Ve；(6d)依次计算高频子带tH分解所得的tH-LLj，tH-LHj，tH-HLj，tH-HHj，以及中频子带tLH分解所得的tLH-LLj，tLH-LHj，tLH-HLj，tLH-HHj，共八个子带方向的能量直方图向量，并将八个能量直方图串接，得到描述当前轨迹的小波方向能量直方图特征Vh＝[Ve1,Ve2,...,Ved,...,Ve8]，其中，Ved表示第d个子带方向的能量直方图向量，d＝1,2,...,8；(7)将所有视频样本的小波方向能量直方图特征划分为训练集Vhtr和测试集Vhte，使用词袋模型获到训练集Vhtr的直方图向量Htr和测试集Vhte的直方图向量Hte；(8)使用训练集的直方图向量Htr训练SVM分类器，将测试集的直方图向量Hte输入到训练好的SVM中，输出测试集Vhte对应的测试样本所属的行为类别。本专利技术与现有技术相比具有以下优点：1)本专利技术将轨迹跟踪引入小波域行为识别，能更有效的挖掘和获取视频中空时信息；同时结合基于熵的子带加权和基于能量阈值的特征点提取，提高了对背景、光照、噪声等的鲁棒性，并有效降低算法的计算复杂度；2)本专利技术采用可时空分离的3D平稳小波变换，在保证平移稳定性的情况下，能获得更多方向的小波系数子带，并进一步降低计算复杂度；通过对小波系数能量的分方向统计，提高了系数能量特征的判别性。附图说明图1是本专利技术的实现流程图。具体实施方式参照图1，本文档来自技高网...

【技术保护点】
基于3D平稳小波的运动轨迹行为识别方法，包括：(1)对行为视频进行时空可分离的3D平稳小波分解：(1a)将彩色视频数据转换为灰度数据，完成对视频数据的预处理；(1b)沿时间维方向对视频数据进行一维平稳小波分解，分解总级数为2，得到三个包含时域信息的系数子带：低频系数子带tLL，高频系数子带tH和中频系数子带tLH；(1c)分别逐帧对三个小波系数子带tLL，tH和tLH进行二维平稳小波分解，获取包含时空域信息的12×ls个12个方向的系数子带：tLL‑LLj，tLL‑LHj，tLL‑HLj，tLL‑HHj；tH‑LLj，tH‑LHj，tH‑HLj，tH‑HHj；tLH‑LLj，tLH‑LHj，tLH‑HLj，tLH‑HHj，其中j为小波分解级数，j＝1,2,...,ls，ls为分解总级数；(2)基于系数子带的熵对高频tH和中频子带tLH进行加权：(2a)将高频子带tH和中频子带tLH中系数值量化到[0‑255]的灰度值范围内，分别在两个频率子带内，计算高频子带tH的熵Eh和中频子带tLH的熵Em；(2b)计算高频子带tH和中频子带tLH的权值：

【技术特征摘要】
1.基于3D平稳小波的运动轨迹行为识别方法，包括：(1)对行为视频进行时空可分离的3D平稳小波分解：(1a)将彩色视频数据转换为灰度数据，完成对视频数据的预处理；(1b)沿时间维方向对视频数据进行一维平稳小波分解，分解总级数为2，得到三个包含时域信息的系数子带：低频系数子带tLL，高频系数子带tH和中频系数子带tLH；(1c)分别逐帧对三个小波系数子带tLL，tH和tLH进行二维平稳小波分解，获取包含时空域信息的12×ls个12个方向的系数子带：tLL-LLj，tLL-LHj，tLL-HLj，tLL-HHj；tH-LLj，tH-LHj，tH-HLj，tH-HHj；tLH-LLj，tLH-LHj，tLH-HLj，tLH-HHj，其中j为小波分解级数，j＝1,2,...,ls，ls为分解总级数；(2)基于系数子带的熵对高频tH和中频子带tLH进行加权：(2a)将高频子带tH和中频子带tLH中系数值量化到[0-255]的灰度值范围内，分别在两个频率子带内，计算高频子带tH的熵Eh和中频子带tLH的熵Em；(2b)计算高频子带tH和中频子带tLH的权值：其中，wh和wm分别表示高频子带tH和中频子带tLH对应的权值，表示向上取整；(2c)对高频子带tH和中频子带tLH进行加权融合，得到融合后的系数子带：Fu＝wh×tH+wm×tLH；(3)基于系数能量阈值在融合后的子带内提取特征点：(3a)对于融合之后的系数子带Fu中的每一个点，在其三维立方体邻域内，计算该邻域中所有系数值的平均能量值(3b)将作为融合之后的系数子带Fu中的每一个系数的能量值E(x,y,t)，设定阈值为TE，通过比较E(x,y,t)和TE的大小，区分出特征点：若E(x,y,t)≥TE，则认为该能量值对应的像素点为特征点，若E(x,y,t)＜TE，则认为该能量值对应的像素点不是特征点；(4)使用步骤(1c)中获得的各方向小波系数子带，对特征点进行描述，得到特征点的小波系数描述子；(5)依据两点的小波系数描述子间的欧式距离最小原则，对相邻帧间特征点进行匹配，得到视频的运动轨迹；(6)在沿轨迹弯曲的立方体内，构造小波方向能量直方图特征：(6a)以提取的各条轨迹为中心，构建沿轨迹弯曲的立方体；(6b)以步骤(1c)中获得的子带tLH-LHj为例，根据步骤(3)中能量计算方法，计算tLH-LHj中系数的能量值；(6c)在沿轨迹弯曲的立方体中，将各级小波分解所得子带tLH-LLj的系数所对应的能量值进行直方图统计，得到tLL-LLj子带方向的能量直方图向量Ve；(6d)依次计算高频子带tH分解所得的tH-LLj，tH-LHj，tH-HLj，tH-HHj，以及中频子带tLH分解所得的tLH-LLj，tLH-LHj，tLH-HLj，tLH-HHj，共八个子带方向的能量直方图向量，并将八个能量直方图串接，得到描述当前轨迹的小波方向能量直方图特征Vh＝[Ve1,Ve2,...,Ved,...,Ve8]，其中，Ved表示第d个子带方向的能量直方图向量，d＝1,2,...,8；(7)将所有视频样本的小波方向能量直方图特征划分为训练集Vhtr和测试集Vhte，使用词袋模型获到训练集Vhtr的直方图向量Htr和测试集Vhte的直方图向量Hte；(8)使用训练集的直方图向量Htr训练SVM分类器，将测试集的...

【专利技术属性】
技术研发人员：同鸣，李金鹏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61