用于目标检测跟踪的方法和装置制造方法及图纸

本发明专利技术的实施方式提供了一种用于目标检测跟踪的方法和装置。该用于目标检测跟踪的方法包括：采集红外视频，根据所述红外视频构建用于检测所述目标的测试数据集；采用光流法获取所述测试数据集中每一帧图像的第一候选区域；将所述第一候选区域输入至训练好的Faster‑RCNN检测器获取检测结果。通过光流法获取待检测图像的第一候选区域，本发明专利技术的方法使得输入至Faster‑RCNN检测器的是测试数据集中每一帧图像的第一候选区域，从而显著地降低了检测目标的图像数据处理量，提高了目标检测的速度。此外，本发明专利技术的实施方式提供了一种用于目标检测跟踪的装置、电子设备和计算机可读的存储介质。

【技术实现步骤摘要】
用于目标检测跟踪的方法和装置
本专利技术的实施方式涉及计算机视觉领域，更具体地，本专利技术的实施方式涉及用于目标检测跟踪的方法、装置、电子设备以及计算机可读的存储介质。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。目标检测和跟踪是计算机视觉中的重要研究问题。目标检测的目的是给出图像中感兴趣目标的位置和类别，这在实际应用中有很广泛的应用前景。在自动驾驶技术中，需要有效识别和跟踪周围的行人、车辆和运动物体，以实现自动避障；监控系统也需要标记视频中的行人和车辆，以方便从海量视频中快速调取有关片段。在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
目前，以卷积神经网络为主的深度学习技术在图像分类、目标检测等任务中取得了巨大的成功，速度和准确性都有明显提高。但是，在可见光成像下，图片易受天气、光照影响，从而影响目标检测效果，且现有算法针对的检测目标往往占据图像中较大部分，现有技术对于远距离小目标的目标进行检测时检测效果变差。与可见光相比，红外热成像具有作用距离远、可夜间工作等特点，因此被广泛应用于视频监控、预警和目标跟踪等任务上。因此在现有技术中，在基于红外热成像的视频监控以及预警系统等的实现中，对红外视频序列中的目标进行自动检测和识别是一个重要问题。为此，非常需要一种改进的用于目标检测跟踪的方法和装置，一方面能够避免可见光成像下的天气、光照影响等问题，还能够避免远距离小目标对目标检测和识别产生的检测效果变差等问题，从而对红外视频中的目标进行自动检测和识别。在本上下文中，本专利技术的实施方式期望提供一种用于目标检测跟踪的方法、装置、电子设备以及计算机可读的存储介质。在本专利技术实施方式的第一方面中，提供了一种用于目标检测跟踪的方法，包括：采集红外视频，根据所述红外视频构建用于检测所述目标的测试数据集；采用光流法获取所述测试数据集中每一帧图像的第一候选区域；以及将所述第一候选区域输入至Faster-RCNN检测器获取检测结果。在本专利技术的一个实施例中，所述方法还包括：训练步骤，其中所述训练步骤包括：根据所述红外视频构建用于检测所述目标的训练数据集，所述训练数据集包括分类数据集和检测数据集；根据所述分类数据集训练预先设计的目标分类网络；以及根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器。在本专利技术的另一个实施例中，所述根据所述红外视频构建用于检测所述目标的训练数据集包括：获取所述红外视频中用于构建所述训练数据集的每一帧图像的正样本及其正样本标签、负样本及其负样本标签，构建所述分类数据集；采用所述光流法获取所述红外视频中用于构建所述训练数据集的每一帧图像发生运动的像素；以及根据所述每一帧图像发生运动的像素获取所述训练数据集中每一帧图像中存在所述目标的局部图像以及对应的坐标信息构成所述检测数据集。在本专利技术的又一个实施例中，所述根据所述分类数据集训练预先设计的目标分类网络包括：设计一卷积神经网络作为所述目标分类网络；以及根据所设计的所述卷积神经网络和所述分类数据集，利用随机梯度下降法训练所述目标分类网络。在本专利技术的再一个实施例中，所述根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器包括：设计所述Faster-RCNN检测器的卷积层结构与所述目标分类网络的卷积层结构相同；利用训练好的所述目标分类网络的卷积层网络参数初始化所述Faster-RCNN检测器的卷积层网络参数；以及将所述检测数据集输入至设计好的所述Faster-RCNN检测器，采用联合训练的方法训练所述Faster-RCNN检测器。在本专利技术的再一个实施例中，所述根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器还包括：根据所检测的目标修改所述Faster-RCNN检测器的RPN网络中锚点的设置。在本专利技术的再一个实施例中，所述方法还包括：根据所述目标在前预设帧的运动轨迹估计所述目标的运动方程；根据所述目标的运动方程，预测所述测试数据集中每一帧图像的第二候选区域；以及将所述第二候选区域输入至训练好的Faster-RCNN检测器获取所述检测结果。在本专利技术的再一个实施例中，所述方法还包括：根据所述检测结果和预设规则对所述目标进行跟踪。在本专利技术的再一个实施例中，所述预设规则为：设置系统初始状态为第一状态；系统处于所述第一状态时，当在下一帧红外视频的候选区域检测到所述目标时，系统跳转到第二状态；系统处于所述第二状态时，当在下一帧红外视频的候选区域及其邻近区域未检测到所述目标时，系统跳转到所述第一状态；系统处于所述第二状态时，当在下一帧红外视频的候选区域和/或邻近区域检测到所述目标时，系统保持在所述第二状态；当系统连续第一预设帧数均处于所述第二状态时，系统跳转到第三状态；系统处于所述第三状态时，当在下一帧红外视频的候选区域和/或邻近区域检测到所述目标时，系统保持在所述第三状态；系统处于所述第三状态时，当在下一帧红外视频的候选区域及其邻近区域未检测到所述目标时，系统跳转到第四状态；系统处于所述第四状态时，当在下一帧红外视频的候选区域和/或邻近区域检测到所述目标时，系统跳转到所述第三状态；系统处于所述第四状态时，当在下一帧红外视频的候选区域及其邻近区域未检测到所述目标时，系统保持在所述第四状态；以及当系统连续第二预设帧数均处于所述第四状态时，系统跳转到所述第一状态。在本专利技术实施方式的第二方面中，提供了一种用于目标检测跟踪的装置，包括：测试数据集构建模块，用于采集红外视频，根据所述红外视频构建用于检测所述目标的测试数据集；候选区域获取模块，用于采用光流法获取所述测试数据集中每一帧图像的第一候选区域；目标检测模块，用于将所述第一候选区域输入至训练好的Faster-RCNN检测器获取检测结果。在本专利技术的一个实施例中，所述装置还包括训练模块，所述训练模块包括：训练数据集构建单元，用于根据所述红外视频构建用于检测所述目标的训练数据集，所述训练数据集包括分类数据集和检测数据集；分类器训练单元，用于根据所述分类数据集训练预先设计的目标分类网络；检测器训练单元，用于根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器。在本专利技术的另一个实施例中，所述训练数据集构建单元包括：分类数据集构建子单元，用于获取所述红外视频中用于构建所述训练数据集的每一帧图像的正样本及其正样本标签、负样本及其负样本标签，构建所述分类数据集；运动像素获取子单元，用于采用所述光流法获取所述红外视频中用于构建所述训练数据集的每一帧图像发生运动的像素；检测数据集构建子单元，用于根据所述每一帧图像发生运动的像素获取所述训练数据集中每一帧图像中存在所述目标的局部图像以及对应的坐标信息构成所述检测数据集。在本专利技术的又一个实施例中，所述分类器训练单元包括：分类器结构设计子单元，用于设计一卷积神经网络作为所述目标分类网络；分类器训练子单元，用于根据所设计的所述卷积神经网络和所述分类数据集，利用随机梯度下降法训练所述目标分类网络。在本专利技术的再一个实施例中，所述检测器本文档来自技高网...

【技术保护点】
一种用于目标检测跟踪的方法，包括：采集红外视频，根据所述红外视频构建用于检测所述目标的测试数据集；采用光流法获取所述测试数据集中每一帧图像的第一候选区域；以及将所述第一候选区域输入至Faster‑RCNN检测器获取检测结果。

【技术特征摘要】
1.一种用于目标检测跟踪的方法，包括：采集红外视频，根据所述红外视频构建用于检测所述目标的测试数据集；采用光流法获取所述测试数据集中每一帧图像的第一候选区域；以及将所述第一候选区域输入至Faster-RCNN检测器获取检测结果。2.根据权利要求1所述的方法，其中，所述方法还包括训练步骤，所述训练步骤包括：根据所述红外视频构建用于检测所述目标的训练数据集，所述训练数据集包括分类数据集和检测数据集；根据所述分类数据集训练预先设计的目标分类网络；以及根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器。3.根据权利要求2所述的方法，其中，所述根据所述红外视频构建用于检测所述目标的训练数据集包括：获取所述红外视频中用于构建所述训练数据集的每一帧图像的正样本及其正样本标签、负样本及其负样本标签，构建所述分类数据集；采用所述光流法获取所述红外视频中用于构建所述训练数据集的每一帧图像发生运动的像素；以及根据所述每一帧图像发生运动的像素获取所述训练数据集中每一帧图像中存在所述目标的局部图像以及对应的坐标信息构成所述检测数据集。4.根据权利要求2所述的方法，其中，所述根据训练好的所述目标分类网络和所述检测数据集训练所述Faster-RCNN检测器包括：设计所述Faster-RCNN检测器的卷积层结构与所述目标分类网络的卷积层结构相同；利用训练好的所述目标分类网络的卷积层网络参数初始化所述Faster-RCNN检测器的卷积层网络参数；以及将所述检测数据集输入至设计好的所述Faster-RCNN检测器，采用联合训练的方法训练所述Faster-RCNN检测器。5.根据权利要求1所述的方法，其中，所述方法还包括：根据所述目标在前预设帧的运动轨迹估计所述目标的运动方程；根据所述目标的运动方程，预测所述测试数据集中每一帧图像的第二候选区域；以及将所述第二候选区域输入至训练好的Faster-RCNN检测器获取所述检测结果。6.根据权利要求1所述的方法，其中，所述方法还包括：根据所述检测结果和预设规则对所述目标进行跟踪。7.根据权利要求6所述的方法，其中，所述预设规则为：设置系统初始状态为第一状态；系统处于所述第一状态时，当在下一帧红外视频的候选区域检测到所述目标时，系统跳转到第二状态；系统处于所述第二状态时，当在下一帧红外视频的候选区域及其邻近区域未检测到所述目标时，系统跳转到所述第一状态；系统处于所述第二状态时，当在下一帧红外视频的候选区域和/或邻近区域检测到所述目标时，系统保持在所述第二状态；当系统连续第一预设帧数均处于所述第二状态时，系统跳转到第三状态；系统处于所述第三状态时，当在下一帧红外视频的候选区域和/或邻近区域检测到所述目标时，系统保持在所述第三状态；系统处于所述第三状...

【专利技术属性】
技术研发人员：王德祥，
申请(专利权)人：北京清瑞维航技术发展有限公司，
类型：发明
国别省市：北京,11