基于验证和纠错机制的视觉目标跟踪方法、智能机器人技术

本发明专利技术属于数字图像处理技术领域，公开了一种基于验证和纠错机制的视觉目标跟踪方法、智能机器人；对输入的视频序列进行预处理操作；将预处理后的视频序列输入到CF Tracker模块中获得一个初始的BB；然后将该BB输入到Verification模块中验证当前的BB是否准确；接着将不满足条件的BB输入到Error Correction模块中获得一个更加准确的BB；最后重复执行以上的操作直到整个视频序列结束为止。本发明专利技术提升速度的同时提升精度，可以应用到多个实时应用中；可以很好的处理目标遮挡、目标重出现、目标快速运动等多个视觉挑战；简单高效的Error Correction模块可以集成到任意跟踪算法中。

Visual Target Tracking Method and Intelligent Robot Based on Verification and Error Correction Mechanism

The invention belongs to the field of digital image processing technology, and discloses a visual target tracking method and intelligent robot based on verification and error correction mechanism; preprocesses the input video sequence; inputs the preprocessed video sequence into the CF Tracker module to obtain an initial BB; and then inputs the BB into the Verification module to verify the accuracy of the current BB; Then, the BB that does not meet the requirements is input into the Error Correction module to obtain a more accurate BB; finally, the above operations are repeated until the end of the entire video sequence. The invention improves speed and accuracy at the same time, and can be applied to many real-time applications; it can well deal with multiple visual challenges such as target occlusion, target reappearance, target fast movement, etc; and a simple and efficient Error Correction module can be integrated into any tracking algorithm.

【技术实现步骤摘要】
基于验证和纠错机制的视觉目标跟踪方法、智能机器人
本专利技术属于数字图像处理
，尤其涉及一种基于验证和纠错机制的视觉目标跟踪方法、智能机器人。
技术介绍
目前，业内常用的现有技术是这样的：视觉目标跟踪是计算机视觉领域的重要研究课题，其主要任务是获取视频序列中感兴趣目标的位置与运动信息，为上层的语义层分析(动作识别、场景识别等)提供基础。视觉目标跟踪在智能视频监控、人机交互、自动驾驶、智能机器人等领域有广泛应用，具有很强的实用价值，因此，视觉目标跟踪算法的研究是数字图像处理中一项十分重要的工作。目标跟踪分为单目标跟踪和多目标跟踪，当前已有很多个目标跟踪算法，由于现实世界里的视频存在着多种视觉挑战，包括光照变化、尺度变化、目标遮挡、目标形变或扭曲、运动模糊、目标快速移动、平面内旋转、平面外旋转、超出视野、背景聚类和低分辨率等，因此需要提出一个更加鲁棒的视觉跟踪算法来应用在现实场景中。当前的视觉目标跟踪算法可以划分为两个分支，基于相关滤波的视觉目标跟踪算法和基于深度学习的视觉目标跟踪算法。现有技术一利用了循环矩阵的多个性质在频域中对目标进行跟踪处理，极大的提升了跟踪的速度和精确度；针对视觉目标跟踪中的尺度问题提出了DSST算法，由于构建高斯金字塔的过程比较耗费时间，随后又提出改进版的fDSST对原始算法进行了加速操作；现有技术二提出了ECO算法，将深度特征和手工特征结合起来，同时采用高斯牛顿法和共轭梯度法来求解非线性最小二乘问题，使得跟踪的精度得到了大幅度的提升。这类算法具有速度快、能够处理大多数的视觉挑战等优点，但是不能很好的的处理目标遮挡、目标消失等问题。现有技术三SINT算法，首次提出利用孪生网络来进行视觉目标跟踪，通过孪生网络来计算出图像patch块的相似度，最终选择得分最高的图像patch块作为最终的目标位置；接着，现有技术四提出CFNet跟踪算法，首次将相关滤波操作转换为一个网络层并将其加入到孪生网络架构中，使得基于深度学习的跟踪算法的速度得到了大幅度的提升；接着，现有技术五提出了一个实时的并行跟踪和验证框架PTAV，使得该算法可以在一定程度上处理目标的局部遮挡和重出现问题。这类算法可以获得较高的跟踪精度，但是由于需要使用到深度学习，而利用深度学习进行前向和反向计算非常耗时，因此跟踪的速度成为了算法的一个瓶颈问题。然而，对于跟踪而言，本专利技术更多的是将其应用在现实生活中的实时场景中，这就对本专利技术的算法提出了速度约束。当前，解决该问题的具体思路包括：1)使用较小的神经网络；2)对深层网络进行压缩；3)在视频中的关键帧时才使用深度学习类的跟踪算法。因此，设计一个能够在速度和准确率之间折中的跟踪算法变得至关重要。综上所述，现有技术存在的问题是：现有技术由于需要使用到深度学习，跟踪的速度成为了算法的一个瓶颈问题，设计一个能够在速度和准确率之间折中的跟踪算法变得至关重要。由于利用深度神经网络获得一个鲁棒的特征表示，大量文献已经证实在数据充足的情况下，使用越深的神经网路越能获得更加鲁棒的特征，然后使用的网络越深的算法的处理速度就会越慢，因此需要在跟踪精度和速度之间做一个折中。解决该问题的意义包括：1)本专利技术跟踪算法可以应用在更多的实时应用中，包括人机交互、自动驾驶、智能视频监控等；2)利用本专利技术的跟踪算法搭建的跟踪系统能够极大的节约成本；3)由于本专利技术的跟踪框架比较灵活，用户可以根据应用的场景去选择出合适的算法。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于验证和纠错机制的视觉目标跟踪方法、智能机器人。本专利技术是这样实现的，一种基于验证和纠错机制的视觉目标跟踪方法，所述基于验证和纠错机制的视觉目标跟踪方法包括：步骤一，读取待跟踪的视频序列，对视频序列进行预处理操作；步骤二，将预处理后的视频序列输入到一个基于相关滤波的跟踪算法中，计算出相应的scoremap，选取得分映射中具有最大数值的位置作为预测的位置，输出相应的BB；步骤三，首次验证当前BB的可信度，即将最大的scoremap值和预设置的阈值进行比对，如果其大于该阈值，则返回相应的BB，如果小于该阈值，则进行后续的二次验证操作；步骤四，二次验证当前BB的可信度，即将没有通过验证的BB输入预训练好的孪生网络中，获得当前BB与初始的BB之间的相似度得分，如果该得分大于预设的阈值，返回当前的BB，否则，进行后续的纠错操作；步骤五，将没有通过验证的BB输入到纠错模块中，通过纠错方法来获取到一个更加准确的BB，将其作为最终的结果输出；步骤六，获取视频序列的下一帧图像，重复进行步骤二-步骤五的操作，直到整个视频终止为止。进一步，所述步骤二中使用改进版ECO-HC算法作为CFTracker：(1)分解卷积：使用滤波集合f1,...,fD中的一个子集f1,...,fC，其中C<D，通过公式实现卷积的分解；(2)ECO-HC对应的loss为：(3)ECO-HC使用高斯牛顿算法和共轭梯度法来优化二次子问题，第i次的高斯牛顿子问题：(4)通过对Sample分类简化训练集，通过混合高斯模型将样本进行分类，得到不同的Component；(5)采用新的模型更新策略，更新间隔为6。进一步，所述步骤三中验证操作包括：(1)利用相关滤波类跟踪器获得在特定序列上面的得分映射图；(2)通过多次试验获得一个比较合适的判决阈值；(3)进行首次验证，即判断获得的得分映射的最大值是否超过设定的阈值，如果超过该阈值，返回该BB作为输出结果，否则进行后面二次验证；(4)选择一个预训练好的基于孪生网络的跟踪算法，这里使用的是改进版的SINT算法；(5)将初始帧的BB和当前帧预测的BB同时输入到该孪生网络中，然后进行前向运算，从而获得相应的相似度得分值；(6)设置一个合适的相似度阈值，并将当前的相似度值和阈值进行比较，如果大于该阈值，返回该BB作为输出结果，否则进行后面的纠错模块。进一步，所述步骤五中纠错方法包括：(1)利用跟踪算法获得上一帧的BB；(2)利用跟踪算法获得当前帧的BB；(3)连接上一帧的BB和当前帧的BB的中心点坐标，获得一段线段，以线段的中心为圆心，线段的一半长为半径画一个圆；(4)将该圆上距离水平直线0°、90°、180°、270°的这几个点作为搜索区域的中心，分别在这4个区域利用基于孪生网络的算法重新计算出4个BB；(5)利用孪生网络计算这4个BB与初始帧BB的相似度，选择具有最大相似度的BB作为最终的预测结果。本专利技术的另一目的在于提供一种应用所述基于验证和纠错机制的视觉目标跟踪方法的基于验证和纠错机制的视觉目标跟踪系统，所述基于验证和纠错机制的视觉目标跟踪系统包括：CFTracker模块，利用相关滤波跟踪算法获得一个初始的BB；Verification模块，通过双层验证机制来判断预测的BB是否准确；ErrorCorrection模块，通过基于孪生网络的跟踪器来获得更加准确的BB。本专利技术的另一目的在于提供一种应用所述基于验证和纠错机制的视觉目标跟踪方法的智能视频监控平台。本专利技术的另一目的在于提供一种应用所述基于验证和纠错机制的视觉目标跟踪方法的人机交互平台。本专利技术的另一目的在于提供一种应用所述基于验证和纠错机制的视觉目标跟踪方法的自动驾驶控制系统。本专利技术的另本文档来自技高网...

【技术保护点】
1.一种基于验证和纠错机制的视觉目标跟踪方法，其特征在于，所述基于验证和纠错机制的视觉目标跟踪方法包括：步骤一，读取待跟踪的视频序列，对视频序列进行预处理操作；步骤二，将预处理后的视频序列输入到一个基于相关滤波的跟踪算法中，计算出相应的score map，选取得分映射中具有最大数值的位置作为预测的位置，输出相应的BB；步骤三，首次验证当前BB的可信度，即将最大的score map值和预设置的阈值进行比对，如果其大于该阈值，则返回相应的BB，如果小于该阈值，则进行后续的二次验证操作；步骤四，二次验证当前BB的可信度，即将没有通过验证的BB输入预训练好的孪生网络中，获得当前BB与初始的BB之间的相似度得分，如果该得分大于预设的阈值，返回当前的BB，否则，进行后续的纠错操作；步骤五，将没有通过验证的BB输入到纠错模块中，通过纠错方法来获取到一个更加准确的BB，将其作为最终的结果输出；步骤六，获取视频序列的下一帧图像，重复进行步骤二‑步骤五的操作，直到整个视频终止为止。

【技术特征摘要】
1.一种基于验证和纠错机制的视觉目标跟踪方法，其特征在于，所述基于验证和纠错机制的视觉目标跟踪方法包括：步骤一，读取待跟踪的视频序列，对视频序列进行预处理操作；步骤二，将预处理后的视频序列输入到一个基于相关滤波的跟踪算法中，计算出相应的scoremap，选取得分映射中具有最大数值的位置作为预测的位置，输出相应的BB；步骤三，首次验证当前BB的可信度，即将最大的scoremap值和预设置的阈值进行比对，如果其大于该阈值，则返回相应的BB，如果小于该阈值，则进行后续的二次验证操作；步骤四，二次验证当前BB的可信度，即将没有通过验证的BB输入预训练好的孪生网络中，获得当前BB与初始的BB之间的相似度得分，如果该得分大于预设的阈值，返回当前的BB，否则，进行后续的纠错操作；步骤五，将没有通过验证的BB输入到纠错模块中，通过纠错方法来获取到一个更加准确的BB，将其作为最终的结果输出；步骤六，获取视频序列的下一帧图像，重复进行步骤二-步骤五的操作，直到整个视频终止为止。2.如权利要求1所述的基于验证和纠错机制的视觉目标跟踪方法，其特征在于，所述步骤二中使用改进版ECO-HC算法作为CFTracker：(1)分解卷积：使用滤波集合f1,...,fD中的一个子集f1,...,fC，其中C<D，通过公式实现卷积的分解；(2)ECO-HC对应的loss为：(3)ECO-HC使用高斯牛顿算法和共轭梯度法来优化二次子问题，第i次的高斯牛顿子问题：(4)通过对Sample分类简化训练集，通过混合高斯模型将样本进行分类，得到不同的Component；(5)采用新的模型更新策略，更新间隔为6。3.如权利要求1所述的基于验证和纠错机制的视觉目标跟踪方法，其特征在于，所述步骤三中验证操作包括：(1)利用相关滤波类跟踪器获得在特定序列上面的得分映射图；(2)通过多次试验获得一个比较合适的判决阈值；(3)进行首次验证，即判断获得的得分映...

【专利技术属性】
技术研发人员：宋锐，王智卓，张文庆，贾媛，李云松，王养利，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61