一种基于概率图模型的目标跟踪方法技术

本发明专利技术公开了一种基于概率图模型的目标跟踪方法，该方法首先选择提取目标中的显著特征区域作为子块，针对子块划分问题，提出了一种基于局域特征点的目标显著特征区域提取方法。子块匹配之后，针对子块匹配结果的融合问题，提出了基于显著特征区域和马尔可夫随机场的目标跟踪算法，并基于显著特征区域之间的空间约束关系以及显著特征区域的描述特征分别建立目标的MRF模型的结构模型和观测模型，并利用BP算法对各个显著特征区域的MS匹配结果进行空间域上推断。本发明专利技术方法能够稳定可靠地跟踪目标，即便在目标处于被遮挡以及目标颜色信息与背景颜色信息相似等复杂情况下也能较好地实现目标跟踪。

A target tracking method based on probabilistic graph model

The invention discloses a method for tracking probability graph model based on the method of first choice to extract salient feature region of the target as the sub block, the sub block partition problem, proposed an extraction method based on local feature points of the target feature region. After the block matching, the block matching results fusion problem, put forward a remarkable characteristic in regional and MRF target tracking algorithm based on the structure model and observation model MRF model and spatial constraints between the region with salient feature regions and describe significant features are created based on the target, and the various features the MS matching results were deduced by BP algorithm in space domain. The method of the invention can track the target stably and reliably, and the target tracking can be achieved even when the target is occluded and the color information of the target is similar to the background color information.

【技术实现步骤摘要】

本专利技术涉及一种基于概率图模型的目标跟踪方法，属于图像信息感知与识别

技术介绍
随着信息技术和智能科学的发展，计算机视觉技术受到了越来越多的关注，已经发展成为了高新
的前沿技术之一。其中目标跟踪技术是计算机视觉领域的研究热点之一，融合了图像处理、模式识别、人工智能以及自动控制等多种不同学科的理论和知识。目标跟踪是以图像序列为基础，从图像序列中识别并标记目标位置，达到自动跟踪目标的技术。对目标的跟踪研究是对目标行为描述分析、识别和视频处理以及图像压缩编码等技术的基础，目标跟踪技术可以为目标检测及识别提供可靠依据。对视频序列中的目标进行精确实时的跟踪无论是在军事、民用等方面都有着重要的应用价值。目前目标跟踪技术已经在实际生活中的许多方面发挥了重要的作用，在安防领域，基于目标跟踪的视频监控系统可以对指定场景区域进行监视，检测异常情况；基于目标跟踪的交通监控系统利用视频图像处理技术对摄像机得到的图像序列进行分析，实现对违反道路交通法规的车辆、行人等目标的检测、分类和跟踪；在军事领域，武器装备的精确化和智能化需求，使得红外成像制导技术越显重要，而目标跟踪是成像制导的关键技术之一；在民用领域，人机交互，使计算机可以识别理解人的姿态、手势等，简化人机交互的实现。在以上所有应用中，目标跟踪都是其中一项关键技术。近年来，概率图模型也被引入目标跟踪之中，并取得了一定的效果，但该方法在通常的使用过程中，目标的深度图和运动轨迹都是利用目标区域的整体信息作为建模依据，当目标遮挡时，其采用的目标信息会有所缺失，因而可能会出现跟踪漂移甚至跟踪失败的情况。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于概率图模型的目标跟踪方法，该方法在目标处于被遮挡以及目标颜色信息与背景颜色信息相似等复杂情况下，跟踪效果依然很好。本专利技术为解决上述技术问题采用以下技术方案：一种基于概率图模型的目标跟踪方法，包括如下步骤：步骤1，对图像序列中第一帧图像，标定目标区域，并将目标区域划分为多个显著特征区域；计算各个显著特征区域的颜色纹理直方图；步骤2，对第一帧图像，将各显著特征区域作为马尔可夫随机场模型的节点，显著特征区域之间的空间关系作为连接两个节点的边，利用马尔可夫随机场模型融合显著特征区域之间的空间位置信息以及显著特征区域的局部信息对目标进行建模；步骤3，在跟踪过程中，首先在当前帧中利用MS算法对各个显著特征区域的位置进行匹配，得到各个显著特征区域的初步定位结果；然后将各个显著特征区域的初步定位结果作为MRF模型中各个节点的观测值，输入信念传播算法进行空间域上的概率推断，得到各个显著特征区域的位置；最后根据各个显著特征区域与目标区域中心点的空间位置关系，利用已经得到的各个显著特征区域的位置进行计算，得到最终的目标区域中心并输出跟踪结果。作为本专利技术的一种优选方案，步骤1所述将目标区域划分为多个显著特征区域的具体过程包括以下步骤：步骤1-1，在目标区域中利用Harris算子提取Harris角点；步骤1-2，将Harris角点中属于背景部分及目标边缘的Harris角点去除；步骤1-3，采用K-means算法对步骤1-2剩余的Harris角点进行聚类；步骤1-4，聚类完成后从各个类别中选择距离目标区域的中心最近的Harris角点，以此来划分显著特征区域。作为本专利技术的一种优选方案，步骤1所述计算各个显著特征区域的颜色纹理直方图的具体过程包括以下步骤：步骤1-5，根据下式计算显著特征区域的颜色直方图：其中，表示颜色直方图，K(·)为核函数，x′0为显著特征区域中心像素点颜色特征值，x′k为第k个像素点颜色特征值，h为核函数的固定宽度，B(x′k)是与该像素点的颜色特征相应的灰度级数，bc＝1,2,…,B，B为灰度级分量的个数，N为显著特征区域内所有像素点的个数；步骤1-6，根据下式计算显著特征区域的纹理直方图：其中，qLBP表示纹理直方图，I(xik)表示第i个显著特征区域中第k个像素点xik的灰度值，I(xik(p))表示像素点xik邻域内第p个像素点的灰度值，bv＝0,1,…,255表示纹理值级数，N为显著特征区域内所有像素点的个数；步骤1-7，将显著特征区域对应的颜色直方图和纹理直方图进行叠加，得到显著特征区域的颜色纹理直方图，公式如下：其中，表示第i个显著特征区域的颜色纹理直方图，右上角T表示转置。作为本专利技术的一种优选方案，步骤2所述对目标进行建模的公式为：其中，n表示所有显著特征区域的个数，分别表示马尔可夫随机场模型的结构模型、观测模型，φ(xi,xj)表示xi,xj之间的兼容函数，表示xi,yi之间的似然函数，xi、xj分别表示第i、j个显著特征区域，yi表示xi的观测值，γ表示结构模型在整个模型所占的比重，λ表示观测模型在整个模型所占的比重，表示xi的颜色纹理直方图，表示根据xi在当前帧中得到的区域中计算得到的颜色纹理直方图，表示两个颜色纹理直方图之间的巴氏距离。作为本专利技术的一种优选方案，步骤3所述最终的目标区域中心的计算公式为：其中，xO表示整体目标区域的中心，n表示所有显著特征区域的个数，ci表示每一个显著特征区域得到的结果的可信度，xi表示第i个显著特征区域，Δxi表示该显著特征区域中心与目标区域中心的偏移量，表示xi的颜色纹理直方图，表示根据xi在当前帧中得到的区域中计算得到的颜色纹理直方图，表示两个颜色纹理直方图之间的巴氏距离。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1、本专利技术提出了一种提取目标区域中显著特征区域的方法以及关于计算各个显著特征区域颜色纹理直方图的方法：以Harris角点为依据，在初始的手动标记的目标区域中，划分出适当大小的显著特征区域，对于每个显著特征区域分别计算颜色纹理直方图。之后利用MRF模型对显著特征区域进行建模，图模型中以显著特征区域的空间位置定义模型中拓扑结构，以颜色纹理直方图定义节点的相似性，以此得到目标的概率图模型，增强了目标建模的鲁棒性。2、本专利技术在跟踪过程中，利用MS算法对所有显著特征区域进行匹配，并利用BP算法对各个显著特征区域的MS匹配结果进行空间域上推断。该算法能够稳定可靠地跟踪目标，即便在目标处于被遮挡以及目标颜色信息与背景颜色信息相似等复杂情况下，本专利技术算法跟踪效果比传统的目标跟踪算法更好。附图说明图1是本专利技术基于概率图模型的目标跟踪方法的流程图。图2是本专利技术中显著特征区域提取过程图例，其中，(a)为图像序列的其中一帧图像，(b)为标定的目标区域，(c)为提取的所有Harris角点，(d)为去除属于背景部分及目标边缘的角点后剩余的角点，(e)为经K-means聚类后的角点，(f)为两个角点及其对应的显著特征区域。图3是本专利技术中LBP纹理计算过程图例。图4是本专利技术中包含约束关系和独立性的MRF模型图。图5是本专利技术实施例视频序列1中四种算法的跟踪结果图。图6是本专利技术实施例视频序列2中四种算法的跟踪结果图。图7是本专利技术实施例视频序列3中四种算法的跟踪结果图。图8是本专利技术实施例视频序列4中四种算法的跟踪结果图。图5-图8中，(a)为本专利技术方法，(b)为PF算法，(c)为MS算法，(d)为分块跟踪算法。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式本文档来自技高网...

【技术保护点】
一种基于概率图模型的目标跟踪方法，其特征在于，包括如下步骤：步骤1，对图像序列中第一帧图像，标定目标区域，并将目标区域划分为多个显著特征区域；计算各个显著特征区域的颜色纹理直方图；步骤2，对第一帧图像，将各显著特征区域作为马尔可夫随机场模型的节点，显著特征区域之间的空间关系作为连接两个节点的边，利用马尔可夫随机场模型融合显著特征区域之间的空间位置信息以及显著特征区域的局部信息对目标进行建模；步骤3，在跟踪过程中，首先在当前帧中利用MS算法对各个显著特征区域的位置进行匹配，得到各个显著特征区域的初步定位结果；然后将各个显著特征区域的初步定位结果作为MRF模型中各个节点的观测值，输入信念传播算法进行空间域上的概率推断，得到各个显著特征区域的位置；最后根据各个显著特征区域与目标区域中心点的空间位置关系，利用已经得到的各个显著特征区域的位置进行计算，得到最终的目标区域中心并输出跟踪结果。

【技术特征摘要】
1.一种基于概率图模型的目标跟踪方法，其特征在于，包括如下步骤：步骤1，对图像序列中第一帧图像，标定目标区域，并将目标区域划分为多个显著特征区域；计算各个显著特征区域的颜色纹理直方图；步骤2，对第一帧图像，将各显著特征区域作为马尔可夫随机场模型的节点，显著特征区域之间的空间关系作为连接两个节点的边，利用马尔可夫随机场模型融合显著特征区域之间的空间位置信息以及显著特征区域的局部信息对目标进行建模；步骤3，在跟踪过程中，首先在当前帧中利用MS算法对各个显著特征区域的位置进行匹配，得到各个显著特征区域的初步定位结果；然后将各个显著特征区域的初步定位结果作为MRF模型中各个节点的观测值，输入信念传播算法进行空间域上的概率推断，得到各个显著特征区域的位置；最后根据各个显著特征区域与目标区域中心点的空间位置关系，利用已经得到的各个显著特征区域的位置进行计算，得到最终的目标区域中心并输出跟踪结果。2.根据权利要求1所述基于概率图模型的目标跟踪方法，其特征在于，步骤1所述将目标区域划分为多个显著特征区域的具体过程包括以下步骤：步骤1-1，在目标区域中利用Harris算子提取Harris角点；步骤1-2，将Harris角点中属于背景部分及目标边缘的Harris角点去除；步骤1-3，采用K-means算法对步骤1-2剩余的Harris角点进行聚类；步骤1-4，聚类完成后从各个类别中选择距离目标区域的中心最近的Harris角点，以此来划分显著特征区域。3.根据权利要求1所述基于概率图模型的目标跟踪方法，其特征在于，步骤1所述计算各个显著特征区域的颜色纹理直方图的具体过程包括以下步骤：步骤1-5，根据下式计算显著特征区域的颜色直方图：qbc=Σk=1NK(x0′-xk′h)δ(B(xk′)-bc)/Σk=1NK(x0′-xk′h)]]>δ(B(xk′)-bc)=1,B(xk′)=bc0,B(xk′)≠bc]]>其中，表示颜色直方图，K(·)为核函数，x′0为显著特征区域中心像素点颜色特征值，x′k为...

【专利技术属性】
技术研发人员：王玉惠，邵鹏，杨欣，周大可，甄武斌，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32