一种基于光流信息的行为识别方法技术

本发明专利技术公开了一种基于光流信息的行为识别方法，属于计算机图像处理技术领域。本发明专利技术包括：获取单行为视频序列光流图；将光流图的每个光流矢量通过邻域中的所有光流矢量的方向信息确定其运动方向模式；并利用中值滤波确定幅度值，再按幅度值划分为不同的运动幅度模式，由光流矢量运动方向模式和运动幅度模式确定每个光流矢量运动模式；按行、列将每幅光流图划分为多个矩形块，统计每个矩形块中所有光流矢量的运动模式形成运动模式直方图，级联每幅光流图的所有矩形块的直方图形成光流图的特征向量，再级联所有光流图的特征向量得到当前行为特征向量，基于SVM对获取的不同行为特征向量进行训练和识别。本发明专利技术在行为识别时，对复杂背景的抑制能力强。

【技术实现步骤摘要】
一种基于光流信息的行为识别方法
本专利技术属于计算机图像处理
，主要涉及对视频图像中的行为识别。
技术介绍
人体行为(动作行为)识别在计算机视觉中是一个具有吸引力及挑战性的问题。人体行为识别是指对人体的运动模式、姿态进行分析、理解与识别，是视频中人体运动分析与理解的高级视觉研究，属于人工智能的范畴。人体运动的视觉分析理解、动作行为识别可以应用于很多领域，比如：运动捕捉，视频监控，人机交互，环境控制与监视，体育运动与娱乐等等。特别是在视频监控方面，随着摄像机等安防监控设备成本的日益降低，视频监控系统可以广泛地应用于银行、邮电、教育、交通、公安、监狱、法庭、大型公共设施、公共场所(银行、医院、停车场、商店、等公共场所甚至家庭庭院内)、大型仓库等场所，在公共安全领域起着日益重要的作用。由于巨大的应用需求，基于计算机视觉的行为识别成为学术界和工业界研究的热点。人体行为识别是计算机视觉中极富挑战的工作。这主要是由于视频拍摄时不断变化的视角，视频中运动人体外观的大小和颜色差异，个体运动时的幅度差异，复杂的背景等等因素都给识别带来了较大困难。行为识别发展多年，按用作识别的特征信息分类大体可分为两类：(1)基于高层次的形状信息；(2)基于低层次的外观和运动细节信息。第(1)种利用高层信息进行识别，它包括利用人体运动模式的标准模板、运动人体的轮廓信息、和3D时空卷。第(2)种利用低层信息，这也是近年来研究比较多的方向。当前，基于底层信息的行为识别方法主要有：(1)局部描述符。这类方法是在视频序列中找到时空兴趣点(STIP)，然后用适当的描述子将包围时空兴趣点一定大小的立方体的局部信息描述出来。然后将这些描述符进行聚类，构建词袋。进而用词袋中的元素去描述一个视频，形成特征向量。该方法能够高效的提取运动信息，但是在相机抖动和背景复杂的情况下，人体的运动信息容易被淹没在背景运动的信息中。(2)基于光流的方法。该方法先要估计视屏序列中连续帧之间的光流信息。光流法提供了一种高效的提起画面中局部动态的方法。但是光流信息提取存在较大误差，不可靠或者错误的估计都将误导后续的识别。现有的HOF特征是对一定大小的网格在几个方向上对运动幅度进行加权，形成直方图，但该直方图对运动幅度没有量化，导致其识别鲁棒性较差。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种对背景复杂具有抑制作用的行为识别技术。本专利技术的基于光流信息的行为识别方法，包括下列步骤：步骤1：提取单行为视频序列的光流信息，得到两幅以上的光流图；步骤2：确定各光流图的每个光流矢量m的运动模式：步骤2-1：在光流矢量m的邻域取k×k网格，将所述k×k网格所在的平面划分为等间隔度数的a个方向区间，所述方向区间的取值范围为(0°，360°]，并设定0°表示静止状态模式，基于所述a个方向区间，得到a+1种运动方向模式，其中k为大于1的奇数，a为大于1的整数；对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间或取值为k×k网格的主运动方向；步骤2-2：基于k×k网格中落在所述主运动方向的光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；步骤2-3：基于光流矢量m的幅度值，根据预设运动幅度模式聚类类别，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式；步骤2-4：基于光流矢量m的运动方向模式和运动幅度模式，确定各个光流矢量m的运动模式；步骤3：确定步骤1所述单行为视频序列的行为特征向量：步骤3-1：分别将每幅光流图按行、列划分为h×l个矩形块，统计每个矩形块中的各光流矢量m的运动模式，形成各个矩形块的运动模式直方图；将得到的h×l个运动模式直方图级联构成各光流图的特征向量；步骤3-2：将各光流图的特征向量级联后得到当前行为特征向量；步骤4：基于支持向量机SVM对步骤3获取的不同的行为特征向量进行训练和识别。由于采用了上述技术方案，本专利技术的有益效果是：(1)对已提取的光流图的每个光流矢量m通过邻域中的所有光流矢量m的方向信息确定中心光流矢量m的运动方向模式，并利用中值滤波确定其幅度值，从而能够很好的抑制由于光流计算时带来的误差和错误；(2)基于光流矢量m中值滤波确定的幅度值，对光流矢量m的幅度进行聚类，按幅度值划分为不同的运动幅度模式，由光流矢量m运动方向模式和运动幅度模式确定每个光流矢量m运动模式，对因视频采集设备抖动造成的运动干扰信息有一定的抑制作用；(3)对光流矢量m幅度量化(幅度聚类)使得运动模式更加完备，表征运动信息更精细化，量化后用不同等级来表征运动幅度模式，而不是用运动的绝对幅度值，从而消除不同形体大小的人(如小孩和成年人)在做相同运动模式时因运动幅度尺度不同而带来的差异，使系统对不同形体大小，不同运动尺度的人体行为识别具有更好的鲁棒性。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式，对本专利技术作进一步地详细描述。本专利技术的基于光流信息的行为识别方法的主要流程包括：步骤S100：提取单行为视频序列的光流图；步骤S200：以网格为单位对光流图中的各光流矢量m进行运动模式编码；步骤S300：运动模式直方图统计，获取行为特征向量；步骤S400：基于支持向量机SVM(SupportVectorMachine)分类器对行为特征向量进行分类训练和识别。各步骤具体执行过程如下：步骤S100可采取与现有的行为识别中关于光流图的获取相同的方式获取，在本具体实施方式中，可通过下述步骤获取：步骤S101：调整单行为视频序列(所谓单行为视频，即对待处理的视频进行相应的裁剪，使得当前输入的视频序列中只包含一种行为。或者是在输入的视频序列中，标识出单个行为在视频序列的起始和结束帧)图片的大小，以降低后续计算的计算量，即对视频图像进行下采样处理，将图像大小为m×n矩阵的原始图像调整为c×d矩阵(c≤m,d≤n)；步骤S102：计算连续帧之间的光流信息：从单行为的视频序列中等距离抽取s个切片，所述切片表示单行为视频序列中一段连续视频帧，其中s为自然数，s的大小根据动作或视频持续的时间长度自行选取，一般取2-4；在每个切片中选取3帧等间隔视频图像：前一帧I(t-Δt)，当前帧I(t)，后一帧I(t+Δt)，Δt为每两帧之间的间隔，其中Δt可根据需要取值，其取区间为[1，5]中的整数值；用光流算法(例如LK(Lucas-Kanade)算法)分别对每个切片中I(t-Δt)与I(t)，I(t)与I(t+Δt)求取光流矢量，得到2幅光流图，s个切片共2s幅光流图。步骤S200：以网格为单位确定每幅光流图中的各光流矢量m的行运动模式：步骤S201：对给定的光流失量m，在其领域取k×k网格(k取大于1的奇数)，将所述k×k网格所在的平面划分为等间隔度数的a(a为大于1的整数，a值越大则表示对运动方向的量化越精细)个方向区间，每个方向区间间隔为360/a°，每个区间代表一种运动方向模式，并设定0°表示静止状态模式(无运动方向)得到a+1种运动方向模式。例如，将平面分为8个方向区间，每个方向区间的取值范围可表示为(0°，45°],(45°，90°]本文档来自技高网...

【技术保护点】
一种基于光流信息的行为识别方法，其特征在于，包括下列步骤：步骤1：提取单行为视频序列的光流信息，得到两幅以上的光流图；步骤2：确定各光流图的每个光流矢量m的运动模式：步骤2‑1：在光流矢量m的邻域取k×k网格，将所述k×k网格所在的平面划分为等间隔度数的a个方向区间，所述方向区间的取值范围为(0°，360°]，并设定0°表示静止状态模式，基于所述a个方向区间，得到a+1种运动方向模式，其中k为大于1的奇数，a为大于1的整数；对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间或取值为k×k网格的主运动方向；步骤2‑2：基于k×k网格中落在所述主运动方向的光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；步骤2‑3：基于光流矢量m的幅度值，根据预设运动幅度模式聚类类别，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式；步骤2‑4：基于光流矢量m的运动方向模式和运动幅度模式，确定各个光流矢量m的运动模式；步骤3：确定步骤1所述单行为视频序列的行为特征向量：步骤3‑1：分别将每幅光流图按行、列划分为h×l个矩形块，统计每个矩形块中的各光流矢量m的运动模式，形成各个矩形块的运动模式直方图；将得到的h×l个运动模式直方图级联构成各光流图的特征向量；步骤3‑2：将各光流图的特征向量级联后得到当前行为特征向量；步骤4：基于支持向量机SVM对步骤3获取的不同的行为特征向量进行训练和识别。...

【技术特征摘要】
1.一种基于光流信息的行为识别方法，其特征在于，包括下列步骤：步骤1：提取单行为视频序列的光流信息，得到两幅以上的光流图；步骤2：确定各光流图的每个光流矢量m的运动模式：步骤2-1：在光流矢量m的邻域取k×k网格，将所述k×k网格所在的平面划分为等间隔度数的a个方向区间，所述方向区间的取值范围为(0°，360°]，并设定0°表示静止状态模式，基于所述a个方向区间，得到a+1种运动方向模式，其中k为大于1的奇数，a为大于1的整数；对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间为k×k网格的主运动方向；步骤2-2：基于k×k网格中落在所述主运动方向的光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；步骤2-3：基于光流矢量m的幅度值，根据预设运动幅度模式聚类类别，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式；步骤2-4：基于光流矢量m的运动方向模式和运动幅度模式，确定各个光流矢量m的运动模式；步骤3：确定步骤1所述单行为视频序列的行为特征向量：步骤3-...

【专利技术属性】
技术研发人员：解梅，董纯铿，蔡家柱，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51