视频时空运动轨迹提取方法技术

本发明专利技术公开了一种视频时空运动轨迹提取方法，涉及图像处理方法技术领域。所述方法包括如下步骤：视频时空切片的生成；视频时空切片上的运动轨迹提取；将若干个视频时空切片的目标运动轨迹信息进行融合；将融合后的视频时空运动轨迹进行分解并建模成STS‑CS模型；用STS‑CS模型描述视频时空运动轨迹。通过所述方法建立的STS‑CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。

【技术实现步骤摘要】

本专利技术涉及图像处理方法
，尤其涉及一种视频时空运动轨迹提取方法。
技术介绍
随着视频数据的爆炸式增长，快速、准确地分析和浏览视频已经成为一个迫切需要解决的问题，此问题在视频监控应用中尤为突出。关键帧提取作为一个可行的解决方案越来越得到人们的关注。关键帧的评估主要是看其是否能够全面、准确的再现原视频中的主要事件，在保证提取全面的前提下，尽量降低冗余。目前广泛应用的关键帧提取算法通常是基于视频的底层特征分析的，以单帧或少量帧的内容特征(颜色、形状、运动等特征)变化为准则进行关键帧提取。但是由于缺乏完整的时间维度的特征分析，难以从整体上把握关键帧的提取数量以及确定关键帧的位置，容易受到环境变化、目标姿态变化、目标遮挡等干扰造成运动目标漏检，进而导致真正的关键帧没有被提取到。提取结果与视频的真实语义之间存在差别，不能全面、准确的反应视频的真实语义。也就是说，关键帧提取结果不符合人眼视觉感知。在不丢失视频语义信息的基础上，快速、准确的提取关键帧具有重要的研究意义和现实需求，视频时空运动轨迹作为关键帧提取准则为此提供了一种有效的解决途径。目标时空运动轨迹能够准确的反应目标的运动状态变化，无论是在民用上还是在军事领域中都有着广泛的应用。采用传统的光流法提取视频时空运动轨迹虽然可行，但是计算量很大，难以满足系统实时性的需求。为此，迫切需要一种高效的视频时空运动轨迹提取方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种视频时空运动轨迹提取方法，通过所述方法建立的STS-CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。为解决上述技术问题，本专利技术所采取的技术方案是：一种视频时空运动轨迹提取方法，其特征在于包括如下步骤：1)视频时空切片的生成；2)视频时空切片上的运动轨迹提取；3)将若干个视频时空切片的目标运动轨迹信息进行融合；4)将融合后的视频时空运动轨迹进行分解并建模成STS-CS模型；5)用STS-CS模型描述视频时空运动轨迹。优选的，所述步骤1)中视频时空切片的生成方法如下：对于视频V(x,y,t)，假设其视频长度为L，视频帧大小为H×W，那么视频时空切片Sk可以按照如下公式生成：上式中：表示t＝i,x＝j,y＝k处的像素点。优选的，所述步骤2)中时空切片Sk上的运动轨迹Tr可以用公式描述为：进一步的技术方案在于：视频时空切片的数目由用户需求确定：生成的视频时空切片数目越多，融合所得到的目标时空运动轨迹越完整，所需要的处理时间越长；反之亦然。优选的，所述步骤4)中公式化描述STS-CS模型，涉及到四个必需的模型参数：起点cs，终点ce，直线段斜率和直线段长度cl，那么，STS-CS模型表示为：四个模型参数之间的关系表示为：和cl＝|ce-cs|上式中：cs1，cs2分别是起点cs的水平坐标和垂直坐标，相似的，ce1，ce2分别是终点ce的水平坐标和垂直坐标；如果目标在运动过程中停止了一段时间，那么这段停止时间内的STS-CS模型表示为：(cs,ce,0,cl)在所建立的STS-CS模型中，直线段的数目越多，表明运动状态改变的次数越多，反之则运动状态改变的次数越少。优选的，直线段的起点代表着运动目标进入视频场景或者场景内的静止目标开始运动，对应的，直线段的终点代表着运动目标离开视频场景或者运动目标在视频场景内停止运动；如果某一条直线段的终点同时也是另一条直线段的起点，则说明运动目标在当前时刻改变了运动方向或者运动速度。优选的，所述的视频时空切片均是指在水平方向提取的视频时空切片。采用上述技术方案所产生的有益效果在于：通过所述方法建立的STS-CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1a-1e是不同运动模式所产生的切片纹理；图2是同一目标运动模式在不同位置时空切片上的轨迹纹理；图3是不同目标运动模式在同一时空切片上具有可分的轨迹纹理；图4是视频时空切片的形象化描述；图5是四个时空切片的轨迹信息融合；图6a是向右运动的小球的二维空间表示，图6b是向右运动的小球的三维空间表示，图6c是向右运动的小球的时空切片运动轨迹；图7是不同速度的匀速运动目标时空切片运动轨迹(单位：pixels per unit time)；图8a-8d是加速度对切片运动轨迹的影响；图9a-9c是复杂运动模式的时空切片运动轨迹；图10是STS-CS模型示例；图11a是提取的目标时空切片运动轨迹，图11b是去除背景后的运动轨迹，图11c是目标运动状态改变的检测结果；图12是本专利技术所述方法的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。总体的，如图12所示，本专利技术公开了一种视频时空运动轨迹提取方法，包括如下步骤：1)视频时空切片的生成；2)视频时空切片上的运动轨迹提取；3)将若干个视频时空切片的目标运动轨迹信息进行融合；4)将融合后的视频时空运动轨迹进行分解并建模成STS-CS模型；5)用STS-CS模型描述视频时空运动轨迹。具体的，本专利技术从以下几个方面进行详细说明：关键帧定义为具有目标运动状态改变的视频帧。采用传统的光流分析方法计算运动状态改变虽然可以实现，但是计算量很大，难以满足实时性需求。时空运动轨迹可以准确的反应目标运动状态的改变，时空切片是一种高效的视频时空分析工具。基于这种考虑，本专利技术建立了STS-CS模型来捕捉视频中的目标运动状态改变。切片纹理：时空切片的纹理模式反应了视频中目标的运动状态，切片纹理与目标运动模式以及切片提取位置具有对应关系，为STS-CS模型的构建奠定基础。时空切片的选取角度不同，其所反映的目标运动信息也不同。对角线切片反映的是运动目标在斜向运动时的运动信息，在特定场景下才有所应用。垂直切片反映的是视频垂直区域的像素灰度变化趋势，主要应用于经过该区域的运动目标个数统计(如车辆数目统计)、水平运动的瞬时速度估计以及目标高度测量等，或者用于视频场景中垂直方向的运动目标检测和跟踪。水平时空切片包含有最为丰富的运动目标信息和场景变化信息，更重要的是其纹理能够反映出目标的运动轨迹。因此，本专利技术中的视频时空切片在视频帧的水平方向选取，无特殊说明时，视频时空切片均是指在水平方向提取的视频时空切片。具体地，假设一视频序列V(x，y，t)的长度为L、视频帧大小为H×W，直接提取视频帧中间位置的像素行来组成视频时空切片，切片生成过程如下：对于第i视频帧Vi，以图像左上角为坐标原点O，向右方向为X轴正向，向下方向为Y轴正向建立平面直角坐标系OXY，则图像水平方向的像素行，可以表示为：按照公式(1)提取视频V(x,y,t)各帧的中间本文档来自技高网...

【技术保护点】
一种视频时空运动轨迹提取方法，其特征在于包括如下步骤：1)视频时空切片的生成；2)视频时空切片上的运动轨迹提取；3)将若干个视频时空切片的目标运动轨迹信息进行融合；4)将融合后的视频时空运动轨迹进行分解并建模成STS‑CS模型；5)用STS‑CS模型描述视频时空运动轨迹。

【技术特征摘要】
1.一种视频时空运动轨迹提取方法，其特征在于包括如下步骤：1)视频时空切片的生成；2)视频时空切片上的运动轨迹提取；3)将若干个视频时空切片的目标运动轨迹信息进行融合；4)将融合后的视频时空运动轨迹进行分解并建模成STS-CS模型；5)用STS-CS模型描述视频时空运动轨迹。2.如权利要求1所述的视频时空运动轨迹提取方法，其特征在于所述步骤1)中视频时空切片的生成方法如下：对于视频V(x,y,t)，假设其视频长度为L，视频帧大小为H×W，那么视频时空切片Sk可以按照如下公式生成： S k = x 1 1 , ... x i 1 ... , x L 1 . . . . . . . . . x 1 j , ... x i j ... , x L j . . . . . . . . . x 1 W , ... x i W ... , x L W y = k , k ∈ [ 1 , H ] ]]>上式中：表示t＝i,x＝j,y＝k处的像素点。3.如权利要求2所述的视频时空运动轨迹提取方法，其特征在于所述步骤2)中时空切片Sk上的运动轨迹Tr可以用公式描述为： T r = ( x 2 1 - x 1 1 ) , ... ( x i + 1 1 - x i 1 ) ... , ...

【专利技术属性】
技术研发人员：张云佐，
申请(专利权)人：石家庄铁道大学，
类型：发明
国别省市：河北;13