基于颜色特性和结构特征的车辆跟踪方法技术

本发明专利技术公开了一种基于颜色特性和结构特征的车辆跟踪方法，其在参考帧中采样多个正、负样本矩形区域；获取每个正、负样本矩形区域各自的LBP特征和颜色特征，进而获得正样本总特征矩阵和负样本总特征矩阵；采用结构化输出支持向量机，训练正样本总特征矩阵和负样本总特征矩阵，得到模型；采用相同的方式在参考帧的后一帧待跟踪的车辆图像中采样多个候选矩形区域，获得候选总特征矩阵；将候选总特征矩阵作为输入参数，输入模型中，得到每个候选矩形区域的预测评分值；将最大预测评分值对应的候选矩形区域作为该车辆图像中确定的包含车辆的目标矩形区域；优点是能充分利用结构特征对光照的不敏感性，从而能提高车辆跟踪在涉及光照挑战下的稳定性。

Vehicle tracking method based on color characteristics and structural characteristics

The invention discloses a vehicle tracking method based on color characteristics and structural features, which sampled multiple positive and negative sample rectangular regions in a reference frame, acquired the respective LBP features and color features of each positive and negative sample rectangular region, and then obtained the total feature matrix of the positive sample and the total feature matrix of the negative sample; and adopted structured structure. Output Support Vector Machine (SVM) is used to train the total feature matrix of positive samples and the total feature matrix of negative samples to get the model. The predictive score of each candidate rectangular region is obtained, and the candidate rectangular region corresponding to the maximum predictive score is used as the target rectangular region containing the vehicle in the vehicle image. The advantage is that the structural features are not sensitive to the illumination, which can improve the stability of vehicle tracking under the illumination challenge.

【技术实现步骤摘要】
基于颜色特性和结构特征的车辆跟踪方法
本专利技术涉及一种目标跟踪方法，尤其是涉及一种基于颜色特性和结构特征的车辆跟踪方法。
技术介绍
人类在日常生活中对外界环境信息的汲取主要来自于视觉，然而鉴于脑容量的有限性和信息内容的冗杂性，人类对视觉信息的获得表现为有选择性的，如何对人类感兴趣的目标区域进行跟踪是计算机视觉领域的重要研究内容。现如今流行的目标跟踪方法主要可以分为两类：生成模型跟踪和判别模型跟踪，前者利用当前帧对目标进行建模，在随后帧中找出与模型最接近的位置框定目标；后者将当前帧的目标区域作为前景提取正样本，将距离目标区域较远的作为背景提取负样本，使用机器学习的方法训练一个观测模型，在随后帧的观测模型中可找出最有可能的区域，该区域即为新的目标区域。当前研究表明，判别模型跟踪的效果普遍要优于生成模型跟踪，其原因在于判别模型加入了更多的背景信息，增加了跟踪的鲁棒性，因此，判别类跟踪方法的研究更具实用价值。交通视频影像是获取交通信息的重要来源，随着智能交通系统概念的普及，计算机视觉与车辆交通的关联越来越紧密，车辆跟踪也在近年来成为了目标跟踪领域研究的热门话题。所谓车辆跟踪，就是在给定了第1帧图像中车辆位置的情况下，对随后的交通视频或图像序列中的车辆进行检测、识别、跟踪的过程，跟踪结果会用矩形框将其标注出来，以便于进一步的分析处理。但是，交通场景的复杂使得在车辆跟踪的过程中，跟踪的稳定性容易受到光照、目标尺度变化、遮挡、运动模糊、速度等种种情况的影响。因此，如何对车辆进行跟踪对智能交通系统的发展有着至关重要的意义。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于颜色特性和结构特征的车辆跟踪方法，其能够充分利用结构特征对光照的不敏感性，从而提高车辆跟踪在涉及光照挑战下的稳定性。本专利技术解决上述技术问题所采用的技术方案为：一种基于颜色特性和结构特征的车辆跟踪方法，其特征在于包括以下步骤：①将车辆序列中的第1帧车辆图像作为参考帧，并在参考帧中人为确定一个包含车辆的目标矩形区域；②将参考帧记为{Irefer(i,j)}，并将{Irefer(i,j)}中确定的包含车辆的目标矩形区域记为{Rrefer(xrefer,yrefer,hrefer,wrefer)}；其中，1≤i≤W，1≤j≤H，W表示{Irefer(i,j)}的宽度，H表示{Irefer(i,j)}的高度，Irefer(i,j)表示{Irefer(i,j)}中坐标位置为(i,j)的像素点的像素值，xrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的横坐标，yrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的纵坐标，hrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的高，wrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的宽；③采用滑动窗口方法，在{Irefer(i,j)}中采样得到N1个矩形区域作为正样本矩形区域，将任一个正样本矩形区域记为其中，N1≥2，采样正样本矩形区域时所采用的滑动窗口的高为Sh1像素、宽为Sw1像素、步幅为Sstr1像素，表示的中心像素点的横坐标，表示的中心像素点的纵坐标，表示的高，表示的宽，同样，采用滑动窗口方法，在{Irefer(i,j)}中采样得到N2个矩形区域作为负样本矩形区域，将任一个负样本矩形区域记为其中，N2≥2，采样负样本矩形区域时所采用的滑动窗口的高为Sh2像素、宽为Sw2像素、步幅为Sstr2像素、排除率为Sexc，表示的中心像素点的横坐标，表示的中心像素点的纵坐标，或表示的高，表示的宽，④采用结构特征局部二值模式操作，提取{Irefer(i,j)}中的每个正样本矩形区域的LBP特征；并采用颜色特征提取方式，提取{Irefer(i,j)}中的每个正样本矩形区域的颜色特征；然后将{Irefer(i,j)}中的每个正样本矩形区域的LBP特征作为一列结构特征向量，将{Irefer(i,j)}中的所有正样本矩形区域的LBP特征组成一个正样本结构特征矩阵，记为并将{Irefer(i,j)}中的每个正样本矩形区域的颜色特征作为一列颜色特征向量，将{Irefer(i,j)}中的所有正样本矩形区域的颜色特征组成一个正样本颜色特征矩阵，记为再将和合并得到正样本总特征矩阵，记为Frefer,pos，Frefer,pos中的每一列为一个正样本矩形区域的LBP特征和颜色特征；其中，结构特征局部二值模式操作的用于计算每个像素点的LBP特征的邻近像素点的总个数为NumNeighbors、圆形图案的半径为Radius像素，的维数为G1×N1，G1表示{Irefer(i,j)}中的每个正样本矩形区域对应的结构特征向量的维数，的维数为H1×N1，H1表示{Irefer(i,j)}中的每个正样本矩形区域对应的颜色特征向量的维数，Frefer,pos的维数为(G1+H1)×N1；同样，采用结构特征局部二值模式操作，提取{Irefer(i,j)}中的每个负样本矩形区域的LBP特征；并采用颜色特征提取方式，提取{Irefer(i,j)}中的每个负样本矩形区域的颜色特征；然后将{Irefer(i,j)}中的每个负样本矩形区域的LBP特征作为一列结构特征向量，将{Irefer(i,j)}中的所有负样本矩形区域的LBP特征组成一个负样本结构特征矩阵，记为并将{Irefer(i,j)}中的每个负样本矩形区域的颜色特征作为一列颜色特征向量，将{Irefer(i,j)}中的所有负样本矩形区域的颜色特征组成一个负样本颜色特征矩阵，记为再将和合并得到负样本总特征矩阵，记为Frefer,neg，Frefer,neg中的每一列为一个负样本矩形区域的LBP特征和颜色特征；其中，结构特征局部二值模式操作的用于计算每个像素点的LBP特征的邻近像素点的总个数为NumNeighbors、圆形图案的半径为Radius像素，的维数为G2×N2，G2表示{Irefer(i,j)}中的每个负样本矩形区域对应的结构特征向量的维数，的维数为H2×N2，H2表示{Irefer(i,j)}中的每个负样本矩形区域对应的颜色特征向量的维数，Frefer,neg的维数为(G2+H2)×N2；⑤根据Frefer,pos和Frefer,neg，采用Struck算法中的结构化输出支持向量机，训练得到模型；⑥将参考帧的后一帧待跟踪的车辆图像定义为当前帧，并将当前帧中与参考帧中确定的包含车辆的目标矩形区域对应位置的矩形区域作为当前帧的初始矩形区域；⑦将当前帧记为{Icur(i,j)}，并将{Icur(i,j)}的初始矩形区域记为{Rcur(xcur,ycur,hcur,wcur)}；其中，Icur(i,j)表示{Icur(i,j)}中坐标位置为(i,j)的像素点的像素值，xcur表示{Rcur(xcur,ycur,hcur,wcur)}的中心像素点的横坐标，xcur＝xrefer，ycur表示{Rcur(xcur,ycur,hcur,wcur)}的中心像素点的纵坐标，ycur＝yrefer，hcur表示{Rcur(xcur,本文档来自技高网...

【技术保护点】
1.一种基于颜色特性和结构特征的车辆跟踪方法，其特征在于包括以下步骤：①将车辆序列中的第1帧车辆图像作为参考帧，并在参考帧中人为确定一个包含车辆的目标矩形区域；②将参考帧记为{Irefer(i,j)}，并将{Irefer(i,j)}中确定的包含车辆的目标矩形区域记为{Rrefer(xrefer,yrefer,hrefer,wrefer)}；其中，1≤i≤W，1≤j≤H，W表示{Irefer(i,j)}的宽度，H表示{Irefer(i,j)}的高度，Irefer(i,j)表示{Irefer(i,j)}中坐标位置为(i,j)的像素点的像素值，xrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的横坐标，yrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的纵坐标，hrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的高，wrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的宽；③采用滑动窗口方法，在{Irefer(i,j)}中采样得到N1个矩形区域作为正样本矩形区域，将任一个正样本矩形区域记为...

【技术特征摘要】
1.一种基于颜色特性和结构特征的车辆跟踪方法，其特征在于包括以下步骤：①将车辆序列中的第1帧车辆图像作为参考帧，并在参考帧中人为确定一个包含车辆的目标矩形区域；②将参考帧记为{Irefer(i,j)}，并将{Irefer(i,j)}中确定的包含车辆的目标矩形区域记为{Rrefer(xrefer,yrefer,hrefer,wrefer)}；其中，1≤i≤W，1≤j≤H，W表示{Irefer(i,j)}的宽度，H表示{Irefer(i,j)}的高度，Irefer(i,j)表示{Irefer(i,j)}中坐标位置为(i,j)的像素点的像素值，xrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的横坐标，yrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的中心像素点的纵坐标，hrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的高，wrefer表示{Rrefer(xrefer,yrefer,hrefer,wrefer)}的宽；③采用滑动窗口方法，在{Irefer(i,j)}中采样得到N1个矩形区域作为正样本矩形区域，将任一个正样本矩形区域记为其中，N1≥2，采样正样本矩形区域时所采用的滑动窗口的高为Sh1像素、宽为Sw1像素、步幅为Sstr1像素，表示的中心像素点的横坐标，表示的中心像素点的纵坐标，表示的高，表示的宽，同样，采用滑动窗口方法，在{Irefer(i,j)}中采样得到N2个矩形区域作为负样本矩形区域，将任一个负样本矩形区域记为其中，N2≥2，采样负样本矩形区域时所采用的滑动窗口的高为Sh2像素、宽为Sw2像素、步幅为Sstr2像素、排除率为Sexc，表示的中心像素点的横坐标，表示的中心像素点的纵坐标，或表示的高，表示的宽，④采用结构特征局部二值模式操作，提取{Irefer(i,j)}中的每个正样本矩形区域的LBP特征；并采用颜色特征提取方式，提取{Irefer(i,j)}中的每个正样本矩形区域的颜色特征；然后将{Irefer(i,j)}中的每个正样本矩形区域的LBP特征作为一列结构特征向量，将{Irefer(i,j)}中的所有正样本矩形区域的LBP特征组成一个正样本结构特征矩阵，记为并将{Irefer(i,j)}中的每个正样本矩形区域的颜色特征作为一列颜色特征向量，将{Irefer(i,j)}中的所有正样本矩形区域的颜色特征组成一个正样本颜色特征矩阵，记为再将和合并得到正样本总特征矩阵，记为Frefer,pos，Frefer,pos中的每一列为一个正样本矩形区域的LBP特征和颜色特征；其中，结构特征局部二值模式操作的用于计算每个像素点的LBP特征的邻近像素点的总个数为NumNeighbors、圆形图案的半径为Radius像素，的维数为G1×N1，G1表示{Irefer(i,j)}中的每个正样本矩形区域对应的结构特征向量的维数，的维数为H1×N1，H1表示{Irefer(i,j)}中的每个正样本矩形区域对应的颜色特征向量的维数，Frefer,pos的维数为(G1+H1)×N1；同样，采用结构特征局部二值模式操作，提取{Irefer(i,j)}中的每个负样本矩形区域的LBP特征；并采用颜色特征提取方式，提取{Irefer(i,j)}中的每个负样本矩形区域的颜色特征；然后将{Irefer(i,j)}中的每个负样本矩形区域的LBP特征作为一列结构特征向量，将{Irefer(i,j)}中的所有负样本矩形区域的LBP特征组成一个负样本结构特征矩阵，记为并将{Irefer(i,j)}中的每个负样本矩形区域的颜色特征作为一列颜色特征向量，将{Irefer(i,j)}中的所有负样本矩形区域的颜色特征组成一个负样本颜色特征矩阵，记为再将和合并得到负样本总特征矩阵，记为Frefer,neg，Frefer,neg中的每一列为一个负样本矩形区域的LBP特征和颜色特征；其中，结构特征局部二值模式操作的用于计算每个像素点的LBP特征的邻近像素点的总个数为NumNeighbors、圆形图案的半径为Radius像素，的维数为G2×N2，G2表示{Irefer(i,j)}中的每个负样本矩形区域对应的结构特征向量的维数，的维数为H2×N2，H2表示{Irefer(i,j)}中的每个负样本矩形区域对应的颜色特征向量的维数，Frefer,neg的维数为(G2+H2)×N2；⑤根据Frefer,pos和Frefer,neg，采用Struck算法中的结构化输出支持向量机，训练得到模型；⑥将参考帧的后一帧待跟踪的车辆图像定义为当前帧，并将当前帧中与参考帧中确定的包含车辆的目标矩形区域对应位置的矩形区域作为当前帧的初始矩形区域；⑦将当前帧记为{Icur(i,j)}...

【专利技术属性】
技术研发人员：周武杰，顾鹏笠，吕思嘉，潘婷，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33