基于视频的混合交通环境下移动目标多特征融合跟踪方法技术

基于视频的混合交通环境下移动目标多特征融合跟踪方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体为：将摄像头拍摄到的视频由ＵＳＢ接口读入到计算机，然后将视频分解为帧图像序列；采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；基于随机融合方法进行颜色特征和边缘特征信息的融合；输出跟踪后的帧图像；将帧图像合成为视频流输出，将视频输出于监视器或通过网络接口远程传输。

Multi feature fusion tracking method for moving target based on video in mixed traffic environment

Under the environment of mixed traffic video moving target multi feature fusion tracking method for vehicle target tracking based on multi feature fusion mechanism, using particle filtering method based on edge feature and color feature fusion of video information, the two kinds of feature information to complement each other, in particular: the camera to shoot the video by the USB interface to read to the computer, and then decompose the video frame image sequence; color feature information extraction method based on particle filter frame image region of interest, the color feature similarity calculation and target template; edge feature extraction method using particle filter frame image ROI, edge feature similarity calculation and target template; feature similarity step the two and third step into the characteristics of measuring the corresponding weights; random fusion method based on color. The output of the frame image is integrated into the output of the video stream, and the video is output to the monitor or the remote transmission through the network interface.

【技术实现步骤摘要】

本专利技术涉及视频监控技术和图像处理理论，涉及一种基于视频的混合交通环境 下移动目标多特征融合跟踪方法。
技术介绍
在我国，混合交通是一种客观现象，自行车、机动车、行人组成的混合交通， 这种混合交通引发的交通拥堵、交通事故增加、城市环境不断恶化、运输效益下降 等一系列问题，严重地影响了道路交通秩序降低了道路通行能力，增加了道路交通 管理难度。随着智能化视频监控技术的发展，及其在自动异常检测、身份识别以及视频内 容理解和描述等方面所取得的成果，视频监控系统在军事、公共安全、工业和交通 等领域得到了广泛应用。尤其是在智能交通系统中，视频监控已成为交通流检测、 异常事故分析以及交通控制的基础手段。车辆是混合交通系统最常见的移动目标，也是监控的主要对象，因此，车辆跟 踪技术是智能交通系统中车辆监控的关键技术之一，其水平的高低直接影响到高速 公路和城市道路监控系统的整体运行安全和管理水平。运动车辆的跟踪信息不仅能 为车辆的正确检测以及准确识别提供帮助，还能通过对运动轨迹的分析，估计车辆 状态并给予语义描述，进而为交通安全及决策提供一定的技术支持。目前，寻求基于视频的高鲁棒性和实时性车辆跟踪算法已成为这个领域的研究 热点。基于视频的车辆跟踪方法主要采用的方法是贝叶斯滤波。最常用的有卡尔曼 滤波、扩展卡尔曼滤波等。这些方法的不足之处是无法处理非高斯噪声或非线性模 型、多模态等情况。而在交通环境复杂多变的智能交通系统中，如光照，气候的变 化、运动目标的种类和状态的多样性等，往往会产生较大的跟踪误差，出现跟踪目 标丢失，遮挡等问题。为了解决以上问题，粒子滤波成为当前运动目标跟踪方法中 的新研究方向。因为其适用于任何能用状态空间模型表示的非线性系统以及非高斯 系统，精度可以逼进最优估计。本专利技术基于粒子滤波跟踪算法，设计和研究了一个 开放式的解决框架，使得目标跟踪更为可靠有效。在跟踪过程中，当单一特征信息不可靠时，跟踪效果就会大大降低，例如当目 标和背景的颜色相近或是色彩颜色混杂时，采用颜色信息进行跟踪就会出错。本发 明针对这个问题，采用多特征融合机制以提高跟踪的鲁棒性。考虑到粒子滤波算法 具有多测量信息融合的优势，基于它融合视频信息的边缘特征与颜色特征，使两种 特征信息互为补充，达到纠错的效果。同时为了提高算法的实时性，采用随机融合 策略融合多特征信息，对于每个粒子只随机选择计算一种特征观测模型，以减少计 算量。该专利技术的跟踪精度高，能有效消除遮挡的影响，并能满足实行系统的要求。申请人多年来主要从事信息融合理论与方法、图像及视频信息处理与传输、复 杂系统分析等方面的科学研究工作，开展了 "基于粗糙集理论的图像增强方法"、 "基于小波边缘检测的图像去噪方法"、"视频监控系统中的图像预处理技术"等 研究，提出了多种图像智能处理的新方法，有些己在实际中得到应用。2005年参加 的"计算智能与图像信息处理研究及其应用系统"获中国电子学会电子信息科学技 术三等奖；出版专著l部，2006《信息系统集成与融合技术及其应用》由国防工业 出版社出版，通过多年的研究和实践，申请人熟悉和掌握数字图像智能处理和监视 监控领域的研究难点和重点。
技术实现思路
技术问题本专利技术的目的是提出了一种基于视频的混合交通环境下移动目标多 特征融合跟踪方法。该方法克服了以往车辆跟踪算法难以解决的非线性问题和遮挡 问题，提高了跟踪的实时性和鲁棒性。技术方案根据视频信息特点以及应用特点，本专利技术提出了一种基于粒子滤波， 采用多特征随机融合的自适应跟踪算法。将车辆做为跟踪目 标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特 征，使两种特征信息互为补充。本专利技术所基于的粒子滤波方法是通过状态转移产生多个可能的车辆区域的质心 构成粒子群(样本集)，在状态空间下比较粒子群与目标粒子的相似度，根据相似 度大小赋予粒子不同的权值，计算粒子群的权值均值用于估算车辆的下一可能位置， 即获得状态最小方差下的车辆区域的质心估计。移动目标多特征融合跟踪方法的具体步骤如下步骤一视频预处理将摄像头拍摄到的视频由USB接口读入到计算机，然后 将视频分解为帧图像序列；步骤二采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度； 步骤三采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度； 步骤四将歩骤二和步骤三中的特征相似度转化为相应的特征测量权值； 步骤五基于随机融合方法进行颜色特征和边缘特征信息的融合； 步骤六输出跟踪后的帧图像； 步骤七将帧图像合成为视频流输出，步骤八将视频输出于监视器或通过网络接口远程传输。采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，是通过颜色特征模 型来建立空间观测模型，步骤如下步骤一将RGB彩色帧图像转换到HSV空间；步骤二将HSV三个颜色分量分别量化为三个量化级，这三个量化级的乘积是 彩色特征空间的特征矢量总数；步骤三对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产 生两模板的彩色直方步骤四用Bhattacharyya相似性系数计算两模板间的彩色直方图的相似度。采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，是通过边缘特征模 型来建立空间观测模型，步骤如下步骤一采用Sobel边缘检测模板分别对灰度化后的图像进行行、列巻积，得 到梯度的幅度图和边缘方向角步骤二除去伪边缘，得到修正的梯度幅值步骤三将梯度方向角进行量化得到每个像素对应的角度量化级，累计相应量 化级的梯度幅值，最终得到边缘特征的直方步骤四通过边缘直方图的欧几里德(Euclidean)距离计算目标模板和待测粒 子模板的相似度。随机融合方法的具体步骤是步骤一每个粒子随机产生一个0到1之间的随机数； 步骤二由测量空间的不确定度来确定选择概率；步骤三根据随机融合机制融合粒子权值，如果随机数大于选择概率，则只计算颜色直方图，从而确定其彩色测量权值，边缘测量权值为0;如果随机数小于选择概率，则只计算边缘直方图，并确定其测量权值，彩色测量权值为0;随机融合计算 公式如下<formula>formula see original document page 7</formula>式中，w'表示第/个粒子融合后的权值，7V表示粒子总数，^表示第/个粒子的彩色测量权值，^表示第/个粒子的边缘测量权值。有益效果所专利技术的多特征融合跟踪方法可以提高对移动车辆的跟踪精度，并 能有效消除遮挡对跟踪的影响，以及复杂背景对跟踪的影响。同时，所设计的算法 的计算复杂度低，能较好满足实行系统的要求。附图说明下面结合附图，详细说明本专利技术的实施例，其中图l是本专利技术的工作流程图2是本专利技术的方法流程图3是本专利技术的颜色特征观测模型建立的流程图4是本专利技术的边缘特征观测模型建立的流程图5是本专利技术的多特征随机融合流程图； 图6是本专利技术的粒子重采样流程图。具体实施例方式对于已获取的视频帧序列，首先提取初始帧中的感兴趣(ROI)区域，即移动目 标，例如，车辆所在区域作为目标模板，在后续帧中通过状态转移得到可能的车辆 区域作为候选模板，即粒子采样。计算候选模板和目标模板的颜色和边缘特征相似 度，随机融合多特征权值，最后输出车辆的跟踪本文档来自技高网...

【技术保护点】
一种基于视频的混合交通环境下移动目标多特征融合跟踪方法，其特征在于该方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体步骤如下：步骤一：视频预处理：将摄像头拍摄到的视频由ＵＳＢ接口读入到计算机，然后将视频分解为帧图像序列；步骤二：采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；步骤三：采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；步骤四：将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；步骤五：基于随机融合方法进行颜色特征和边缘特征信息的融合；步骤六：输出跟踪后的帧图像；步骤七：将帧图像合成为视频流输出，步骤八：将视频输出于监视器或通过网络接口远程传输。

【技术特征摘要】

【专利技术属性】
技术研发人员：王慧斌，刘超颖，张学武，吴学文，
申请(专利权)人：河海大学，
类型：发明
国别省市：84[中国|南京]