一种视频压缩域目标跟踪方法和系统技术方案

本发明专利技术公开了一种视频压缩域目标跟踪方法，包括：从视频序列经过压缩编码得到的视频码流中提取该视频序列中第一帧对应的压缩域信息进行解码，以得到解码后的图像，并对该图像进行手动目标标记，以得到第一帧的目标标记图，对视频码流进行语法解析，以从该视频码流中提取视频序列中当前帧的下一帧对应的运动矢量MV和块编码模式，并对得到的运动矢量先后进行归一化处理和预处理，以得到处理后的下一帧的运动矢量，使用时空马尔科夫模型获得该下一帧的目标标记图。本发明专利技术能够解决现有压缩域目标跟踪方法中由于采用块级编码处理造成跟踪准确率低、以及跟踪准确率随着帧数的不断增加而逐帧持续、断崖式下降的技术问题。

【技术实现步骤摘要】
一种视频压缩域目标跟踪方法和系统
本专利技术属于图像处理和模式识别
，更具体地，涉及一种视频压缩域目标跟踪方法和系统。
技术介绍
视频目标跟踪是计算机视觉的一个研究热点，它为视频分析、视频检索、行为理解等提供支持，在军事制导、人机交互、医疗诊断等领域都有着日益广泛的研究价值和应用前景。目前的视频目标跟踪方法包括有基于像素域的视频目标跟踪方法，以及基于压缩域的视频目标跟踪方法。对于后者而言，目前普遍采用的视频目标跟踪方法是使用来自于压缩比特流的运动矢量(Motionvectors，简称MV)和块编码模式(Blockcodingmodes)来执行跟踪，然而，上述视频目标追踪方法存在一定的缺陷：首先，由于所利用的压缩域信息是基于块级编码处理，有些块中既有目标又有非目标，无论将该块标记为目标块或者非目标块，都会造成跟踪结果的准确率偏低；其次，由于该方法中，每一帧的目标标记图是由上一帧的目标标记图运算得到，随着帧数的不断增加，也会出现跟踪准确率呈现连续、断崖式下降的问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种视频压缩域目标跟踪方法和系统，其目的在于，解决现有压缩域目标跟踪方法中由于采用块级编码处理造成跟踪准确率低、以及跟踪准确率随着帧数的不断增加而逐帧持续、断崖式下降的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种视频压缩域目标跟踪方法，包括以下步骤：(1)从视频序列经过压缩编码得到的视频码流中提取该视频序列中第一帧对应的压缩域信息进行解码，以得到解码后的图像，并对该图像进行目标标记，以得到第一帧的目标标记图；(2)对步骤(1)中的视频码流进行语法解析，以从该视频码流中提取视频序列中当前帧的下一帧对应的运动矢量MV和块编码模式，并对得到的运动矢量先后进行归一化处理和预处理，以得到处理后的下一帧的运动矢量。(3)根据当前帧的目标标记图和步骤(2)中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型获得该下一帧的目标标记图；(4)在像素域中对步骤(3)中得到的该下一帧的目标标记图中目标的边界进行细化，以得到该下一帧的最终目标标记图。(5)判断视频序列中当前帧的下一帧是否是视频序列的最后一帧，如果是则进入步骤(7)，否则进入步骤(6)；(6)判断视频序列中当前帧的该下一帧是P帧还是I帧，如果是P帧，则返回步骤(2)，如果是I帧，则返回步骤(1)；(7)将得到的视频序列中所有帧的最终目标标记图输出。优选地，步骤(2)包括以下子步骤：(2-1)对步骤(1)中的视频码流进行熵解码，以从该视频码流中提取视频序列的下一帧对应的运动矢量和块编码模式，其中得到的块编码模式中规定了帧间编码的宏块大小；(2-2)使用单元块对步骤(2-1)得到的运动矢量进行归一化处理，以得到归一化处理后的运动矢量{MVi}，其中i＝1，2，...，n，n为归一化后得到的单元块的总数量。(2-3)根据视频序列的干扰类型选择对应的预处理方法对归一化后的运动矢量{MVi}进行处理，以得到处理后的运动矢量{MVi’}；优选地，步骤(2-3)中使用的预处理方法可以是中值滤波、矢量场累积、和/或全局运动补偿方法，如果视频中存在噪声，则使用中值滤波进行预处理；若视频中的运动矢量场比较稀疏，则使用矢量场累积进行预处理；若视频中存在照相机的运动，则应使用全局运动补偿去掉照相机的运动，以突出得到目标的运动。优选地，单元块的大小可以为1*1、2*2、4*4，8*8、或者16*16。优选地，步骤(3)包括以下子步骤：(3-1)对当前帧的目标标记图进行仿射变换处理，以得到该下一帧的候选目标标记图；(3-2)根据步骤(2)中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型对该下一帧的候选目标标记图进行更新，以得到该下一帧的目标标记图。优选地，步骤(3-2)具体是采用以下公式：其中φ表示该下一帧所有可能的目标标记图的集合，maskt为该下一帧的目标标记图，mv′t为该下一帧的运动矢量，maskt-1为当前帧的目标标记图，p(maskt-1|maskt，mv′t)表示运动矢量的时域连续度，p(mv′t|maskt)表示运动矢量的空域一致度，p(maskt)表示运动矢量的紧密度。优选地，步骤(4)包括以下子步骤：(4-1)提取步骤(3)中得到的该下一帧的目标标记图中目标的边界处的单元块{Bj}，其中j＝1，2，3，...，k，k表示目标标记图中目标的边界处的单元块的总数量；(4-2)对步骤(4-1)提取的目标标记图中目标的边界处的单元块{Bj}执行压缩域到像素域的转换操作，从而得到该单元块对应的像素信息{Bj’}；(4-3)使用像素域边缘检测算法对步骤(4-2)得到的单元块对应的像素信息进行处理，以得到每个单元块对应的像素级别目标标记结果；(4-4)使用步骤(4-3)得到的每个单元块对应的像素级别目标标记结果替换步骤(3)中得到的下一帧的目标标记图中的对应区域，从而形成该下一帧的最终目标标记图。优选地，像素域边缘检测算法可以是Roberts算子、Log算子、Canny算子、小波多尺度方法、分形理论方法、数学形态学方法、或人工智能以及遗传算法。按照本专利技术的另一方面，提供了一种视频压缩域目标跟踪系统，包括：第一模块，用于从视频序列经过压缩编码得到的视频码流中提取该视频序列中第一帧对应的压缩域信息进行解码，以得到解码后的图像，并对该图像进行目标标记，以得到第一帧的目标标记图；第二模块，用于对第一模块中的视频码流进行语法解析，以从该视频码流中提取视频序列中当前帧的下一帧对应的运动矢量MV和块编码模式，并对得到的运动矢量先后进行归一化处理和预处理，以得到处理后的下一帧的运动矢量。第三模块，用于根据当前帧的目标标记图和第二模块中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型获得该下一帧的目标标记图；第四模块，用于在像素域中对第三模块中得到的该下一帧的目标标记图中目标的边界进行细化，以得到该下一帧的最终目标标记图。第五模块，用于判断视频序列中当前帧的下一帧是否是视频序列的最后一帧，如果是则进入第七模块，否则进入第六模块；第六模块，用于判断视频序列中当前帧的该下一帧是P帧还是I帧，如果是P帧，则返回第二模块，如果是I帧，则返回第一模块；第七模块，用于将得到的视频序列中所有帧的最终目标标记图输出。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)由于本专利技术采用步骤(4)对目标标记图中目标的边界进行细化，将目标标记结果从块级转化为像素级，因此能够保证较高的跟踪准确率。(2)由于本专利技术定期将I帧作为初始帧进行更新操作，即使在后续帧出现错误的情况下，准确率也不会出现断崖式下降，同时，更新操作会停止准确率持续不断下降的趋势。(3)本专利技术采用熵解码实现部分解码操作，避免了视频完全解码和重构，这样可以提高系统的处理效率，便于实时应用。(4)本专利技术单元块的大小可以设置为1*1、2*2、4*4，8*8、或者16*16，从而可以满足不同应用场景的需要。(5)本专利技术可广泛适用于MPEG-4、H.264、H.265等格式的视频中。附图说明图1是本专利技术视频压缩域目标跟踪方法的流程图；图2是本专利技术方法的步骤(1)中得到的本文档来自技高网...

【技术保护点】
1.一种视频压缩域目标跟踪方法，其特征在于，包括以下步骤：(1)从视频序列经过压缩编码得到的视频码流中提取该视频序列中第一帧对应的压缩域信息进行解码，以得到解码后的图像，对该图像进行目标标记，以得到第一帧的目标标记图；(2)对步骤(1)中的视频码流进行语法解析，以从该视频码流中提取视频序列中当前帧的下一帧对应的运动矢量MV和块编码模式，并对得到的运动矢量先后进行归一化处理和预处理，以得到处理后的下一帧的运动矢量。(3)根据当前帧的目标标记图和步骤(2)中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型获得该下一帧的目标标记图；(4)在像素域中对步骤(3)中得到的该下一帧的目标标记图中目标的边界进行细化，以得到该下一帧的最终目标标记图。(5)判断视频序列中当前帧的下一帧是否是视频序列的最后一帧，如果是则进入步骤(7)，否则进入步骤(6)；(6)判断视频序列中当前帧的该下一帧是P帧还是I帧，如果是P帧，则返回步骤(2)，如果是I帧，则返回步骤(1)；(7)将得到的视频序列中所有帧的最终目标标记图输出。

【技术特征摘要】
1.一种视频压缩域目标跟踪方法，其特征在于，包括以下步骤：(1)从视频序列经过压缩编码得到的视频码流中提取该视频序列中第一帧对应的压缩域信息进行解码，以得到解码后的图像，对该图像进行目标标记，以得到第一帧的目标标记图；(2)对步骤(1)中的视频码流进行语法解析，以从该视频码流中提取视频序列中当前帧的下一帧对应的运动矢量MV和块编码模式，并对得到的运动矢量先后进行归一化处理和预处理，以得到处理后的下一帧的运动矢量。(3)根据当前帧的目标标记图和步骤(2)中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型获得该下一帧的目标标记图；(4)在像素域中对步骤(3)中得到的该下一帧的目标标记图中目标的边界进行细化，以得到该下一帧的最终目标标记图。(5)判断视频序列中当前帧的下一帧是否是视频序列的最后一帧，如果是则进入步骤(7)，否则进入步骤(6)；(6)判断视频序列中当前帧的该下一帧是P帧还是I帧，如果是P帧，则返回步骤(2)，如果是I帧，则返回步骤(1)；(7)将得到的视频序列中所有帧的最终目标标记图输出。2.根据权利要求1所述的视频压缩域跟踪方法，其特征在于，步骤(2)包括以下子步骤：(2-1)对步骤(1)中的视频码流进行熵解码，以从该视频码流中提取视频序列的下一帧对应的运动矢量和块编码模式，其中得到的块编码模式中规定了帧间编码的宏块大小；(2-2)使用单元块对步骤(2-1)得到的运动矢量进行归一化处理，以得到归一化处理后的运动矢量{MVi}，其中i＝1，2，...，n，n为归一化后得到的单元块的总数量。(2-3)根据视频序列的干扰类型选择对应的预处理方法对归一化后的运动矢量{MVi}进行处理，以得到处理后的运动矢量{MVi’}。3.根据权利要求2所述的视频压缩域跟踪方法，其特征在于，步骤(2-3)中使用的预处理方法可以是中值滤波、矢量场累积、和/或全局运动补偿方法，如果视频中存在噪声，则使用中值滤波进行预处理；若视频中的运动矢量场比较稀疏，则使用矢量场累积进行预处理；若视频中存在照相机的运动，则应使用全局运动补偿去掉照相机的运动，以突出得到目标的运动。4.根据权利要求2所述的视频压缩域跟踪方法，其特征在于，单元块的大小可以为1*1、2*2、4*4，8*8、或者16*16。5.根据权利要求1至4中任意一项所述的视频压缩域跟踪方法，其特征在于，步骤(3)包括以下子步骤：(3-1)对当前帧的目标标记图进行仿射变换处理，以得到该下一帧的候选目标标记图；(3-2)根据步骤(2)中得到的处理后的该下一帧的运动矢量，并使用时空马尔科夫模型对该下一帧的候选目标标记图进行更新，以得到该下一帧的目标标记图。6....

【专利技术属性】
技术研发人员：江小平，孙婧，李成华，丁昊，岳映君，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：湖北,42