样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法技术

样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法，属于运动目标跟踪处理技术领域，为了解决错误的跟踪结果对跟踪算法产生影响的问题，要点是第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪，效果是适用于所有的判别模型类目标跟踪方法，可以避免训练集被遮挡物的特征信息污染，提高目标跟踪方法对目标遮挡的适应性。

Target tracking method of sample selective updating mechanism, effective sample remembrance method and distance estimation method

【技术实现步骤摘要】
样本可选择更新机制的目标跟踪方法、重新记忆有效样本的方法和距离估计方法
本专利技术属于运动目标跟踪处理
，具体的说是一种样本可选择更新机制的目标跟踪方法。
技术介绍
目标跟踪技术是计算机视觉的重要部分，其技术被广泛应用于自主汽车、移动机器人以及智能安防系统等领域。精准的目标跟踪有利于精确了解目标的所在位置，这不仅可以为自主汽车与辅助驾驶系统提供更可靠的行人坐标以保护驾驶员以及行人的安全，而且也是高科技武器及GPS系统所需求的至关重要的信息。在实际应用中，目标遮挡、目标形变和光暗变化等复杂环境往往会对目标跟踪算法的性能造成很大的影响，而在一般情况下现有的目标跟踪技术已经可以达到较高的精度和实时性。因此，如何提升目标跟踪在复杂环境下的性能是现在的热点研究问题之一。专利申请号为CN201811018794，名称为“改进的用于目标跟踪的卡尔曼滤波方法”将目标位置、目标移动速度和加速度都作为分析对象，相较与传统的卡尔曼滤波方法减小了误差，同时它还考虑了目标发生机动的情况，减小目标机动时的跟踪误差。但是该方法对目标遮挡和目标形变等复杂环境的适用性较弱。专利申请号为CN201810958266，名称为“一种任意直线约束下目标跟踪方法”把车辆、船舰和空中飞行物作为主要跟踪目标，因为这些目标在移动过程中有很大可能在相当长一段时间内会保持直线运动。然后该方法认为目标运动轨迹不完全由目标本身的运动速度决定，而是受其所处物理环境或是其自身运动特点的影响，所以构建了一种任意直线约束建模和状态估计方法用来实现目标跟踪。但是该方法具有很大的局限性，它只能用于目标的线性运动跟踪。考虑到复杂环境对目标跟踪造成的影响主要是会出现错误的跟踪结果，但是只有当错误数量累积到一定程度后跟踪算法才会失效。因此本专利技术在已有的相关滤波目标跟踪方法的基础上进行改进，提出一种样本可选择更新机制的目标跟踪算法，通过图像特征遗忘方法和能量显著记忆方法对跟踪结果进行选择性遗忘和记忆，避免错误的跟踪结果对跟踪算法产生影响。
技术实现思路
为了解决错误的跟踪结果对跟踪算法产生影响的问题，本专利技术提出如下技术方案：一种样本可选择更新机制的目标跟踪方法，包括：第一步，获取视频起始帧并初始化跟踪器；第二步，对下一帧用滤波跟踪方法对目标进行跟踪，并返回跟踪结果；第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪。在另一种方案中，本专利技术还提出一种重新记忆遗忘结果中有效样本的方法，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库。进一步的，从最新的目标跟踪结果第k+1帧图像中提取目标区域的HOG能量，然后提取训练集中的所有图像的HOG能量并计算其均值作为对比，计算第k+1帧图像的HOG能量变化值作为第k+1帧图像的能量显著值；设Hk+1为第k+1帧图像的HOG能量值，Hx为训练集中所有图像的HOG能量集合，则式(7)为能量显著值计算公式，enerk+1为第k+1帧图像的能量显著值，m表示训练集中已有的图像数量，Hx(i)表示训练集中的第i个图像的HOG能量；若第k+1帧图像的能量显著值满足式(8)时，则将第k+1帧图像重新记忆进训练集，若不满足则维持第k+1帧图像的遗忘操作；一种红外-可见光双目行人身体多部件融合的持续距离估计方法，包括如下步骤：S1.通过红外-可见光双目摄像头拍摄同一车前图像，得到红外车前图像和可见光车前图像；S2.样本可选择更新机制的目标跟踪，确定红外车前图像和可见光车前图像中目标行人的位置；S3.获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；S4.对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离。通过上述技术方案，本专利技术提供的基于特征距离评价的目标反馈跟踪方法具有的有益效果是：(1)样本可选择更新机制的目标跟踪算法可以对目标遮挡、剧烈光暗变化和目标形变的等复杂环境保持较好的适应性，使目标跟踪方法能够应用于更多实际场景，可以为行人意图分析等后续判断提供更可靠的目标位置信息；(2)图像特征遗忘方法可以对跟踪结果进行筛选，遗忘与参考图像存在较大差距的跟踪结果，该方法可以适用于所有的判别模型类目标跟踪方法，可以避免训练集被遮挡物的特征信息污染，提高目标跟踪方法对目标遮挡的适应性；(3)能量显著记忆方法可以对图像特征遗忘方法的遗忘结果进行校验，重点记忆因光暗变化、目标形变等复杂环境下出现较大变化的目标特征信息，该方法可以适用于所有的判别模型类目标跟踪方法，使训练集可以保持对目标当前状态的适应性，提高目标跟踪方法对剧烈光暗变化以及目标形变等复杂环境的跟踪有效性；(4)本专利技术可以为移动机器人、自主汽车和辅助驾驶系统提供更精确的路况信息，不论是对工业机器人或者自主汽车的避障和路径规划，还是服务型机器人为特定人物目标提供引路服务等方面都可以发挥很重要的作用。附图说明图1是提取第k帧和第k+1帧图像目标区域的HOG和CNN特征的图；图2从最新的目标跟踪结果第k+1帧图像中提取目标区域的HOG能量图；图3是样本可选择更新机制的目标跟踪方法流程图；图4是目标全遮挡与半遮挡情况的跟踪结果示意图；图5是目标全遮挡情况的跟踪结果示意图；图6是目标连续全遮挡情况的跟踪结果示意图；具体实施方式接下来结合附图和具体分类过程来对本专利技术做进一步的描述：样本可选择更新机制的目标跟踪方法，它的逻辑框图如图3所示，该方法的具体实施步骤如下：第1步：获取视频第1帧图像并初始化跟踪器；第2步：读取下一帧图像并使用相关滤波跟踪方法进行目标跟踪；第3步：获得跟踪结果后计算其图像距离值，若图像距离值小于实数δ则将该跟踪结果记忆进训练集中并跳至第5步，否则进行第4步；第4步：计算跟踪结果的能量显著值并与训练集的HOG能量值进行对比，若满足式(8)则将该跟踪结果记忆进训练集中，否则就将该跟踪结果遗忘；第5步：重复第2步至第4步的操作直到跟踪结束。具体的方案是：本专利技术区别于现有目标跟踪方法，提出一种样本可选择更新机制的目标跟踪方法，通过图像特征遗忘方法和能量显著记忆方法对跟踪结果进行选择性遗忘和记忆，以提高跟踪方法在复杂环境下的鲁棒性。本专利技术采用交并比的方式来对跟踪结果的类型进行定义。式(1)为交并比计算公式，IOU为算法的跟踪结果与目标实际位置的重叠度，Ga为目标真实本文档来自技高网...

【技术保护点】
1.一种样本可选择更新机制的目标跟踪方法，其特征在于，包括：/n第一步，获取视频起始帧并初始化跟踪器；/n第二步，对下一帧用滤波跟踪方法对目标进行跟踪，并返回跟踪结果；/n第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；/n第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪。/n

【技术特征摘要】
1.一种样本可选择更新机制的目标跟踪方法，其特征在于，包括：
第一步，获取视频起始帧并初始化跟踪器；
第二步，对下一帧用滤波跟踪方法对目标进行跟踪，并返回跟踪结果；
第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；
第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪。


2.如权利要求1所述的样本可选择更新机制的目标跟踪方法，其特征在于，若第三步不存在差距过大的跟踪结果则返回第二步或结束跟踪。


3.如权利要求1所述的样本可选择更新机制的目标跟踪方法，其特征在于，第三步的步骤是：以第k帧图像为参考图像，分别提取第k帧和第k+1帧图像目标区域的HOG和CNN特征，然后计算两个区域图像特征的曼哈顿距离值，作为第k+1帧跟踪结果的图像距离值；
设视频的第k帧图像的特征为Jk(x)，第k+1帧图像的特征为Jk+1(x)，然后利用式(2)计算第k+1帧图像的图像距离值；



distk+1＞δ，δ∈(0，1)(3)
式中，δ是重叠度判断失效样本的上限值，distk+1为第k+1帧图像的图像距离值，n为特征图中的元素个数，Jk(x)i和Jk+1(x)i分别为第1帧和第k+1帧图像特征中的第i个元素；
若第k+1帧的图像特征距离大于δ，则将第k+1帧跟踪结果判定为需要遗忘的跟踪结果，若图像距离小于δ，则将该跟踪结果记忆进训练集中并跳至第五步。


4.如权利要求1所述的样本可选择更新机制的目标跟踪方法，其特征在于，第四步的步骤是：从最新的目标跟踪结果第k+1帧图像中提取目标区域的HOG能量，然后提取训练集中的所有图像的HOG能量并计算其均值作为对比，计算第k+1帧图像的HOG能量变化值作为第k+1帧图像的能量显著值；
设Hk+1为第k+1帧图像的HO...

【专利技术属性】
技术研发人员：杨大伟，毛琳，许烨豪，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：辽宁;21