基于RGB-D图像的目标跟踪方法和装置制造方法及图纸

本发明专利技术实施例提供一种基于RGB‑D图像的目标跟踪方法和装置，该方法包括：基于第i‑1帧是否发生目标被遮挡和第i帧对应的深度图像确定第i帧是否发生目标被遮挡；若是，则根据运动趋势预测第i帧的目标跟踪框位置RGB图像；若否，则将第i‑1帧的目标跟踪框位置RGB图像降维HOG特征输入第i帧的第n次更新的分类器输出第i帧的置信分图；基于置信分图确定第i帧目标跟踪框位置RGB图像，而第n次更新的分类器是基于第n‑1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的。本发明专利技术实施例提供的方法和装置，实现了考虑目标是否被遮挡且降低了目标跟踪的计算量。

【技术实现步骤摘要】
基于RGB-D图像的目标跟踪方法和装置
本专利技术涉及深度图像
，尤其涉及一种基于RGB-D图像的目标跟踪方法和装置。
技术介绍
跟踪任务就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置，是计算机视觉中的一个重要研究方向，有着广泛的应用，如：视频监控，人机交互，无人驾驶等。尽管科技发展迅速，RGB目标跟踪仍旧面临着诸多问题，比如：遮挡(Occlusion)、形变(Deformation)、尺度变换(ScaleVariation)、背景杂乱(BackgroundClutter)、快速运动(FastMotion)、旋转(Rotation)、实时性(RealTime)等。因此，如何避免现有的RGB目标跟踪方法的考虑遮挡问题的欠缺，且计算量较大的情况，仍然是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术实施例提供一种基于RGB-D图像的目标跟踪方法和装置，用以解决现有的RGB目标跟踪方法的考虑遮挡问题的欠缺且计算量较大的情况的问题。第一方面，本专利技术实施例提供一种基于RGB-D图像的目标跟踪方法，包括：对于待跟踪目标的视频序列，基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况；若是，则根据运动趋势预测第i帧的目标跟踪框位置RGB图像；若否，则将第i-1帧的目标跟踪框位置RGB图像的降维HOG特征输入第i帧对应的第n次更新的分类器输出第i帧对应的置信分图；基于所述置信分图确定第i帧的目标跟踪框位置RGB图像；其中，所述第n次更新的分类器是基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的；所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器；第一次更新的分类器是基于所述待跟踪目标的视频序列的第一帧的人工标注目标跟踪框位置RGB图像和目标识别模板进行训练得到的；i、n、q和m均为正整数，且1<q≤m。优选地，该方法中，所述第n次更新的分类器是基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的，所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器，具体包括：所述待跟踪目标的视频序列的前i帧序列为A＝{A1,A2,A3,……,Ai}；去除所述前i帧序列中的发生目标被遮挡的K个帧，得到对应于所述前i帧序列的无遮挡帧序列B＝{B1,B2,B3,……,Bj}，其中，j＝i-K，并记录B中的元素与A中的元素的对应关系；所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器；第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧为从B中的元素Bm×(n-2)+1开始依次往后提取的q个B元素；基于所述B中的元素与A中的元素的对应关系，确定所述q个B元素对应的q个A元素；基于所述q个A元素确定第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本；基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到第n次更新的分类器。优选地，该方法中，所述基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况，具体包括：基于k-means聚类算法输出第i帧对应的深度图的簇中形成连通的成分，基于所述成分对所述深度图中的目标进行区分；基于所述目标区分结果确定目标框区域Robj；若i-1帧发生目标被遮挡，当Φ(Robj)＞λocc或则判定第i帧发生目标被遮挡；当Φ(Rbc)＜λocc且则判定第i帧未发生目标被遮挡；若i-1帧未发生目标被遮挡，当Φ(Robj)＞λocc且则判定第i帧发生目标被遮挡；当Φ(Rbc)＜λocc或则判定第i帧未发生目标被遮挡；其中，所述k-means聚类算法初始化时，确定k值为所述深度图的直方图的峰的个数，确定质心为所述直方图的各个峰对应的任意像素点的位置，Φ(Robj)表示第i帧的目标框区域Robj的深度值与深度图均值的差与两个目标框区域的深度图标准差之间的比率；f(z)max是第i帧的目标区域框的响应分；λocc和均为常数。优选地，该方法中，所述根据运动趋势预测第i帧的目标跟踪框位置图像，具体包括：对第i帧的目标状态X进行建模：其中，u和v分别表示第i-1帧的目标中心的水平和垂直像素位置，s表示第i-1帧的目标面积和目标跟踪框的长的比，r表示第i-1帧的目标面积和目标跟踪框的宽的比，和表示第i-1帧的目标中心的水平和垂直像素位置，表示第i-1帧的目标面积和目标跟踪框的长的比；通过u、v、s和r基于卡尔曼最优地求解速度分量，确定和优选地，该方法中，所述将第i-1帧的目标跟踪框位置RGB图像的降维HOG特征输入第i帧对应的第n次更新的分类器输出第i帧对应的置信分图，具体包括：将第i-1帧的目标跟踪框位置图像扩大h倍得到放大图像，再提取所述放大图像的降维HOG特征；通过如下公式将所述降维HOG特征与第i帧对应的第n次更新的分类器fd进行卷积，得到第i帧对应的置信分图Sf{x}：其中，D＝3，D代表RGB三通道的个数，d的取值为1、2和3，分别代表R、G和B通道，fd为对应d通道的分类器，Jd{xd}为对应d通道的降维HOG特征。优选地，该方法中，所述基于所述置信分图确定第i帧的目标跟踪框位置RGB图像，具体包括：确定所述置信分图的峰值坐标，确定第i帧的目标跟踪框的中心点为该峰值坐标；基于所述中心点确定第i帧的目标跟踪框位置RGB图像。优选地，该方法中，还包括：所述第n次更新的分类器的训练过程中，分类器f的损失函数E(f)通过如下公式确定：其中，Sf{xj}为第j个目标跟踪框位置RGB图像样本的置信分图，yj为目标识别模板标签，αj为对应于第j个目标跟踪框位置RGB图像样本的权重，M为目标跟踪框位置RGB图像样本的个数，D＝3，D代表RGB三通道的个数，d的取值为1、2和3，分别代表R、G和B通道，fd为对应d通道的分类器，W为防止过拟合系数。第二方面，本专利技术实施例提供一种基于RGB-D图像的目标跟踪装置，包括：判别单元，用于对于待跟踪目标的视频序列，基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况；若是，则根据运动趋势预测第i帧的目标跟踪框位置RGB图像；若否，则将第i-1帧的目标跟踪框位置RGB图像的降维HOG特征输入第i帧对应的第n次更新的分类器输出第i帧对应的置信分图；确定单元，用于基于所述置信分图确定第i帧的目标跟踪框位置RGB图像；其中，所述本文档来自技高网...

【技术保护点】
1.一种基于RGB-D图像的目标跟踪方法，其特征在于，包括：/n对于待跟踪目标的视频序列，基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况；/n若是，则根据运动趋势预测第i帧的目标跟踪框位置RGB图像；/n若否，则将第i-1帧的目标跟踪框位置RGB图像的降维HOG特征输入第i帧对应的第n次更新的分类器输出第i帧对应的置信分图；/n基于所述置信分图确定第i帧的目标跟踪框位置RGB图像；/n其中，所述第n次更新的分类器是基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的；所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器；第一次更新的分类器是基于所述待跟踪目标的视频序列的第一帧的人工标注目标跟踪框位置RGB图像和目标识别模板进行训练得到的；i、n、q和m均为正整数，且1<q≤m。/n

【技术特征摘要】
1.一种基于RGB-D图像的目标跟踪方法，其特征在于，包括：
对于待跟踪目标的视频序列，基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况；
若是，则根据运动趋势预测第i帧的目标跟踪框位置RGB图像；
若否，则将第i-1帧的目标跟踪框位置RGB图像的降维HOG特征输入第i帧对应的第n次更新的分类器输出第i帧对应的置信分图；
基于所述置信分图确定第i帧的目标跟踪框位置RGB图像；
其中，所述第n次更新的分类器是基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的；所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器；第一次更新的分类器是基于所述待跟踪目标的视频序列的第一帧的人工标注目标跟踪框位置RGB图像和目标识别模板进行训练得到的；i、n、q和m均为正整数，且1<q≤m。


2.根据权利要求1所述的基于RGB-D图像的目标跟踪方法，其特征在于，所述第n次更新的分类器是基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到的，所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器，具体包括：
所述待跟踪目标的视频序列的前i帧序列为A＝{A1,A2,A3,……,Ai}；
去除所述前i帧序列中的发生目标被遮挡的K个帧，得到对应于所述前i帧序列的无遮挡帧序列B＝{B1,B2,B3,……,Bj}，其中，j＝i-K，并记录B中的元素与A中的元素的对应关系；
所述待跟踪目标的视频序列中每隔m个未发生目标被遮挡的帧更新一次分类器；
第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧为从B中的元素Bm×(n-2)+1开始依次往后提取的q个B元素；
基于所述B中的元素与A中的元素的对应关系，确定所述q个B元素对应的q个A元素；
基于所述q个A元素确定第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本；
基于第n-1次更新的分类器对应的前q个未发生目标被遮挡的帧的目标跟踪框位置RGB图像样本和目标识别模板标签进行训练得到第n次更新的分类器。


3.根据权利要求1所述的基于RGB-D图像的目标跟踪方法，其特征在于，所述基于第i-1帧是否发生目标被遮挡的情况和第i帧对应的深度图像确定第i帧是否发生目标被遮挡的情况，具体包括：
基于k-means聚类算法输出第i帧对应的深度图的簇中形成连通的成分，基于所述成分对所述深度图中的目标进行区分；
基于所述目标区分结果确定目标框区域Robj；
若i-1帧发生目标被遮挡，
当Φ(Robj)＞λocc或则判定第i帧发生目标被遮挡；
当Φ(Rbc)＜λocc且则判定第i帧未发生目标被遮挡；
若i-1帧未发生目标被遮挡，
当Φ(Robj)＞λocc且则判定第i帧发生目标被遮挡；
当Φ(Rbc)＜λocc或则判定第i帧未发生目标被遮挡；
其中，所述k-means聚类算法初始化时，确定k值为所述深度图的直方图的峰的个数，确定质心为所述直方图的各个峰对应的任意像素点的位置，Φ(Robj)表示第i帧的目标框区域Robj的深度值与深度图均值的差与两个目标框区域的深度图标准差之间的比率；f(z)max是第i帧的目标区域框的响应分；λocc和均为常数。


4.根据权利要求1所述的基于RGB-D图像的目标跟踪方法，其特征在于，所述根据运动趋势预测第i帧的目标跟踪框...

【专利技术属性】
技术研发人员：户磊，沈韬，朱海涛，陈智超，李立业，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：安徽;34