基于自适应颜色特征和时空上下文的目标跟踪方法及系统技术方案

本发明专利技术公开了基于自适应颜色特征和时空上下文的目标跟踪方法及系统；包括以下步骤：在输入视频序列第一帧图像后，用矩形框选择跟踪目标；计算第1帧的目标置信图；跟踪目标置信图包括上下文先验模型和空间上下文模型；根据空间上下文模型学习更新第t帧的时空上下文模型；利用得到的时空上下文模型，对第t+1帧图像进行卷积操作，计算第t+1帧的目标置信图，并求得目标置信图的最大似然概率位置作为最佳目标位置；将最佳目标位置作为新的跟踪目标，同时依据第t+1帧的目标置信图，然后重复步骤，进行t+2帧图像的最佳目标位置确定；从而实现对所有帧图像的最佳目标位置确定。

【技术实现步骤摘要】
基于自适应颜色特征和时空上下文的目标跟踪方法及系统
本专利技术涉及图像处理和计算机视觉技术跟踪领域，具体涉及基于自适应颜色特征和时空上下文的目标跟踪方法。
技术介绍
视频目标跟踪是机器视觉领域的基础问题之一，融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识。视频跟踪是目标识别、行为识别等后续应用的基础，在军事制导、视觉导航、智能交通、医疗诊断等众多领域有着广泛的应用前景。在运动目标跟踪问题上的研究，大致可以分为两种方法：(a)不依赖先验知识，直接从图形序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标；(b)依赖先验知识，首先对运动目标建立模型，然后在后续图像序列中实时找到相匹配的运动目标。围绕这两种方法，产生了很多效果较好目标检测和跟踪算法。对于不依赖先验知识的目标跟欧洲那个而言，检测是最重要的。目标检测是将跟踪目标从背景中提取出来。运动目标跟踪就是在图像序列中寻找与目标模板最相似候选目标区位置的过程，即在序列图像中进行目标定位。实现目标的准确定位需要以描述目标的视觉特征建立其表观模型。具有良好可分性的视觉特征，是实现对跟踪目标与视场背景精确分割与提取的关键，因此视觉特征的选择是实现鲁棒跟踪前提。若所选视觉特征具有较强可分性，即使简单的跟踪算法也能实现可靠跟踪。常用的视觉特征有颜色、边缘、光流、小波、上下文等。由于光照、遮挡以及目标移动旋转缩放引起的目标本身变化等因素，进行鲁棒的跟踪仍然面对巨大的挑战。
技术实现思路
本专利技术的目的就是为了解决上述问题，提供一种基于自适应颜色特征和时空上下文的目标跟踪方法及系统，它具有可实现有效的多尺度目标跟踪优点。为了实现上述目的，本专利技术采用如下技术方案：基于自适应颜色特征和时空上下文的目标跟踪方法，包括以下步骤：步骤(1)：在输入视频序列第一帧图像后，用矩形框选择跟踪目标；步骤(2)：计算第1帧的目标置信图；步骤(3)：所述跟踪目标置信图包括上下文先验模型和空间上下文模型；通过生物视觉系统的集中注意力特性和颜色特征对跟踪目标的局部上下文信息建模，得到上下文先验模型，即先验概率；通过对上下文先验模型先进行快速傅里叶变换再进行快速傅里叶反变换，得到跟踪目标与跟踪目标周围上下文信息的空间关系的空间上下文模型，即条件概率；步骤(4)：根据步骤(3)的空间上下文模型学习更新第t帧的时空上下文模型；步骤(5)：利用步骤(4)得到的时空上下文模型，对第t+1帧图像进行卷积操作，计算第t+1帧的目标置信图，并求得目标置信图的最大似然概率位置作为最佳目标位置；步骤(6)：将步骤(4)的最佳目标位置作为新的跟踪目标，同时依据步骤(5)的到的第t+1帧的目标置信图，然后重复步骤(3)-(5)，进行t+2帧图像的最佳目标位置确定；从而实现对所有帧图像的最佳目标位置确定。进一步的，所述步骤(2)的目标置信图的公式为：式中，c(x)最大的位置就是目标位置，x表示目标位置，o表示目标出现，特性Xc＝{c(z)}＝{(I(z),z)|z∈Ωc(x*)}表示图像特性，I(z)表示位置z处的图像自适应颜色特征值，Ωc(x*)表示目标位置X*的局部区域，P(x|c(z),o)表示条件概率，P(c(z)|o)表示先验概率，b是标准化常数，α是尺度参数，β是形状参数。进一步的，所述步骤(3)上下文先验模型描述的是先验概率，上下文先验模型为：P(c(z)|o)＝I(z)ωσ(z-x*)(2)表示权重函数，a表示归一化参数，σ表示尺度参数，通常距离目标X*越近的点对跟踪目标越重要，权重越大，I(z)表示z处像素点的自适应颜色特征值。所述自适应颜色特征值是：先将RGB颜色细化为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种，然后利用PCA(PrincipalComponentAnalysis)将11维降为2维，选择出比较显著的两种颜色：步骤a)：颜色特征向量的公式为XM×N×K，X是目标跟踪图像，M为图像行数，N为图像列数，K为颜色特征数量，K＝11；步骤b)：计算步骤a)中的颜色特征向量中所有像素点颜色特征的均值，并利用均值对所有像素点的颜色值进行中心化，得到中心化的颜色特征向量即每个像素点颜色信息减去所有像素点颜色信息的均值，均值计算公式为：其中，是所有像素点颜色特征的均值，z是像素数，MN是像素点个数，是第z个像素点的颜色信息；步骤c)：计算步骤b)得到中心化的颜色特征向量的协方差矩阵，公式为：步骤d)：对步骤c)中的协方差矩阵进行特征值分解，得到一组降序排列的特征值及对应的特征向量x：|Cz-λE|＝0；(6)(Cz-λE)y＝0；(7)其中，Cz是协方差矩阵，E是单位矩阵，λ是协方差矩阵Cz的特征值，y是特征值λ对应的特征向量；步骤e)：根据步骤d)得到的特征值、特征向量，得到特征矩阵，公式为：Cz是协方差矩阵，Λj是的D1*D2维的对角矩阵；步骤f)：依据降序排列的特征值，选择前a个特征值对应的颜色特征主成分，主成分选择方法为：Bz＝[w1,w2,…,wa]T；(10)其中，λj为第j个特征值,j＝1…m，wi为第i个特征向量，i＝1…a，a为保留的主成分个数，a＝2，0.995的意义是保留的主成分包含原来特征的99.5％的信息量，Bz是主成分投影矩阵；投影矩阵Bz作为D2的特征矩阵Rz的归一化特征向量，特征矩阵对应最大特征值。步骤g)：通过步骤f)得到的主成分投影矩阵，对颜色特征进行主成分投影，得到主成分分析后的颜色特征向量，主成分映射公式为：I(z)是主成分投影后的数据，Bz是主成分投影矩阵。空间上下文模型是通过基于上下文先验模型和置信图在线学习得到的，随着跟踪的进行不断进行更新。进一步的，所述步骤(3)中空间上下文模型描述的是条件概率函数，具体为：P(x|c(z),o)＝hsc(x-z)；(12)式中，hsc(x-z)表示目标位置x与局部区域点z之间的相对距离以及方向关系的函数，即目标与目标的空间上下文的空间关系。根据公式(1)(2)(12)置信图公式表示如下：式中，表示卷积符号；卷积通过快速傅里叶变换加速，具体为：式中，F表示傅里叶变换函数，表示点积符号；通过两次傅里叶变换和一次傅里叶反变换学习后，空间上下文模型表示为：式中，F-1表示傅里叶反变换函数；利用空间上下文模型公式(15)学习得到时空上下文模型，时空上下文模型具体为：式中，ρ表示学习参数，表示第t帧的时空上下文模型。步骤(5)，具体为：在第t+1帧时，基于t帧目标区域获取局部区域Ωc(x*)，得到特征集，具体为：Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}；(17)求得t+1帧时，置信图最大似然概率位置，具体为：式中，ct+1(x)具体为：同时，更新公式(3)的尺度参数，具体为：式中，s′t表示两帧之间的估计尺度，ct(·)表示置信图，st+1表示估计目标尺度，通过滤波器获得，表示连续n帧图像的估计尺度的平均值，λ＞0是固定滤波器参数。基于自适应颜色特征和时空上下文的目标跟踪方法，包括：跟踪目标选择模块：在输入视频序列第一帧图像后，用矩形框选择跟踪目标；第1帧的目标置信图计算模块：计算第1帧的目标置信图；空间上下文模型计算模块：所述跟踪目标置信图包括上下文先验模型和空间上下文模型本文档来自技高网...

【技术保护点】
基于自适应颜色特征和时空上下文的目标跟踪方法，其特征是，包括以下步骤：步骤(1)：在输入视频序列第一帧图像后，用矩形框选择跟踪目标；步骤(2)：计算第1帧的目标置信图；步骤(3)：所述跟踪目标置信图包括上下文先验模型和空间上下文模型；通过生物视觉系统的集中注意力特性和颜色特征对跟踪目标的局部上下文信息建模，得到上下文先验模型，即先验概率；通过对上下文先验模型先进行快速傅里叶变换再进行快速傅里叶反变换，得到跟踪目标与跟踪目标周围上下文信息的空间关系的空间上下文模型，即条件概率；步骤(4)：根据步骤(3)的空间上下文模型学习更新第t帧的时空上下文模型；步骤(5)：利用步骤(4)得到的时空上下文模型，对第t+1帧图像进行卷积操作，计算第t+1帧的目标置信图，并求得目标置信图的最大似然概率位置作为最佳目标位置；步骤(6)：将步骤(4)的最佳目标位置作为新的跟踪目标，同时依据步骤(5)的到的第t+1帧的目标置信图，然后重复步骤(3)‑(5)，进行t+2帧图像的最佳目标位置确定；从而实现对所有帧图像的最佳目标位置确定。

【技术特征摘要】
1.基于自适应颜色特征和时空上下文的目标跟踪方法，其特征是，包括以下步骤：步骤(1)：在输入视频序列第一帧图像后，用矩形框选择跟踪目标；步骤(2)：计算第1帧的目标置信图；步骤(3)：所述跟踪目标置信图包括上下文先验模型和空间上下文模型；通过生物视觉系统的集中注意力特性和颜色特征对跟踪目标的局部上下文信息建模，得到上下文先验模型，即先验概率；通过对上下文先验模型先进行快速傅里叶变换再进行快速傅里叶反变换，得到跟踪目标与跟踪目标周围上下文信息的空间关系的空间上下文模型，即条件概率；步骤(4)：根据步骤(3)的空间上下文模型学习更新第t帧的时空上下文模型；步骤(5)：利用步骤(4)得到的时空上下文模型，对第t+1帧图像进行卷积操作，计算第t+1帧的目标置信图，并求得目标置信图的最大似然概率位置作为最佳目标位置；步骤(6)：将步骤(4)的最佳目标位置作为新的跟踪目标，同时依据步骤(5)的到的第t+1帧的目标置信图，然后重复步骤(3)-(5)，进行t+2帧图像的最佳目标位置确定；从而实现对所有帧图像的最佳目标位置确定。2.如权利要求1所述的基于自适应颜色特征和时空上下文的目标跟踪方法，其特征是，所述步骤(2)的目标置信图的公式为：式中，c(x)最大的位置就是目标位置，x表示目标位置，o表示目标出现，特性Xc＝{c(z)}＝{(I(z),z)|z∈Ωc(x*)}表示图像特性，I(z)表示位置z处的图像灰度，Ωc(x*)表示目标位置X*的局部区域，P(x|c(z),o)表示条件概率，P(c(z)|o)表示先验概率，b是标准化常数，α是尺度参数，β是形状参数。3.如权利要求2所述的基于自适应颜色特征和时空上下文的目标跟踪方法，其特征是，所述步骤(3)上下文先验模型描述的是先验概率，上下文先验模型为：P(c(z)|o)＝I(z)ωσ(z-x*)(2)表示权重函数，a表示归一化参数，σ表示尺度参数，通常距离目标X*越近的点对跟踪目标越重要，权重越大，I(z)表示位置z处的图像自适应颜色特征值。4.如权利要求3所述的基于自适应颜色特征和时空上下文的目标跟踪方法，其特征是，所述自适应颜色特征值是：先将RGB颜色细化为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种，然后利用PCA将11维降为2维，选择出比较显著的两种颜色：步骤a)：颜色特征向量的公式为XM×N×K，X是目标跟踪图像，M为图像行数，N为图像列数，K为颜色特征数量，K＝11；步骤b)：计算步骤a)中的颜色特征向量中所有像素点颜色特征的均值，并利用均值对所有像素点的颜色值进行中心化，得到中心化的颜色特征向量即每个像素点颜色信息减去所有像素点颜色信息的均值，均值计算公式为：其中，是所有像素点颜色特征的均值，z是像素数，MN是像素点个数，是第z个像素点的颜色信息；步骤c)：计算步骤b)得到中心化的颜色特征向量的协方差矩阵，公式为：步骤d)：对步骤c)中的协方差矩阵进行特征值分解，得到一组降序排列的特征值及对应的特征向量x：|Cz-λE|＝0；(6)(Cz-λE)y＝0；(7)其中，Cz是协方差矩阵，E是单位矩阵，λ是协方差矩阵Cz的特征值，y是特征值λ对应的特征向量；步骤e)：根据步骤d)得到的特征值、特征向量，得到特征矩阵，公式为：Cz是协方差矩阵，Λj是的D1*D2维的对角矩阵；步骤f)：依据降序排列的特征值，选择前a个特征值对应的颜色特征主成分，主成分选择方法为：Bz＝[w1,w2,…,wa]T；(10...

【专利技术属性】
技术研发人员：刘治，郭庆荣，姬海燕，孔令爽，许建中，邱清晨，曹艳坤，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37