多目标跟踪方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种多目标跟踪方法、装置、设备及计算机可读存储介质。其中，方法包括预先基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练得到目标分割模型，用于从输入图像中分割得到车辆并计算各车辆的位置坐标。将待跟踪车辆图像输入目标分割模型中，得到该图像中各目标车辆的位置坐标信息；依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；若目标车辆的最小差值不大于预设阈值，则目标车辆为最小差值对应源车辆在待跟踪车辆图像中的跟踪目标；反之，将目标车辆作为新出现的源车辆。本申请实现了视频序列中对多目标车辆的快速、准确跟踪，提升了多目标跟踪的实时性。

Multiobjective Tracking Method, Device, Equipment and Computer Readable Storage Media

The embodiment of the invention discloses a multi-target tracking method, device, device and computer readable storage medium. Among them, the method includes training several sample images which pre-label vehicle type information and vehicle position to get the target segmentation model, which is used to segment the vehicle from the input image and calculate the position coordinates of each vehicle. The vehicle image to be tracked is input into the target segmentation model to obtain the position coordinate information of each target vehicle in the image; the position coordinate difference between each target vehicle and each source vehicle in the previous frame vehicle image is calculated in turn, and the minimum difference is determined from each difference; if the minimum difference of the target vehicle is not greater than the preset threshold, the target vehicle is the minimum difference corresponding to the source vehicle in the image. The target in the vehicle image to be tracked is tracked; on the contrary, the target vehicle is regarded as the emerging source vehicle. This application realizes fast and accurate tracking of multi-target vehicles in video sequence, and improves the real-time performance of multi-target tracking.

【技术实现步骤摘要】
多目标跟踪方法、装置、设备及计算机可读存储介质
本专利技术实施例涉及计算机视觉
，特别是涉及一种多目标跟踪方法、装置、设备及计算机可读存储介质。
技术介绍
近几十年，随着计算机视觉技术突飞猛进，计算速度的大幅提升，雷达、红外线和视频等领域的目标跟踪技术已突破了大部分限制并得到了不断的发展和完善。视频跟踪问题一般可以分为单目标跟踪问题和多目标跟踪问题。多目标跟踪因其在实际应用中的需求越来越多，也得到了相应的发展，与单目标跟踪问题相比多目标跟踪问题面临的情况更复杂包括目标之间的遮挡、合并和分离等情形。多目标跟踪技术为一种对给定一个图像序列，找到图像序列中运动的目标物体，并将不同帧中的运动目标物体一一对应，然后给出不同目标物体的运动轨迹的技术。运动的目标物体可以是任意的，如行人、车辆、运动员、各种动物等等。卷积神经网络为一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(conv-layer)和池化层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(ConvolutionalNeuralNetworks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。目前的多目标跟踪技术，目标检测跟踪耗时较长，实时性较差，不适用于实时性要求高的应用场景。
技术实现思路
本公开实施例提供了一种多目标跟踪方法、装置、设备及计算机可读存储介质，提高了多目标跟踪效率，实时性好。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种多目标跟踪方法，包括：将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；判断每个目标车辆的最小差值是否不大于预设阈值；若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像新出现的源车辆；其中，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；所述目标分割模型为基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练所得；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。可选的，所述目标车辆作为在所述待跟踪车辆图像出现的新源车辆之后，还包括：若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。可选的，所述得到所述当前目标车辆的车型信息之后，还包括：将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。可选的，所述判断每个目标车辆的最小差值是否不大于预设阈值，若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像出现的新源车辆包括：所述待跟踪车辆图像中的目标车辆的个数为N个，所述待跟踪车辆图像的前一帧车辆图像中的源车辆的个数为n个，且N≥n；判断所述待跟踪车辆图像中是否存在n个目标车辆的最小差值均不大于所述阈值；若是，则将这n个目标车辆分别为相对应最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标，其余N-n个目标车辆作为在所述待跟踪车辆图像新出现的源车辆；若否，将最小差值不大于预设阈值的目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；将最小差值大于预设阈值的目标车辆作为在所述待跟踪车辆图像新出现的源车辆。可选的，所述目标分割模型的各张样本图像中的车辆位置预先涂覆相同颜色，各样本图像的颜色中心位置信息作为车辆位置坐标信息。本专利技术实施例另一方面提供了一种多目标跟踪装置，包括：目标分割模型训练模块，用于基于FCN算法、训练多张预先标注车型信息和车辆位置的样本图像得到目标分割模型，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；位置坐标计算模块，用于将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；最小差值确定模块，用于依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；判断模块，用于判断每个目标车辆的最小差值是否不大于预设阈值；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差；目标跟踪模块，用于若目标车辆的最小差值不大于预设阈值，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；新目标定位模块，用于若目标车辆的最小差值不大于预设阈值，则将目标车辆作为在所述待跟踪车辆图像新出现的源车辆。可选的，还包括车型检测识别模块，用于若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。可选的，还包括重量估计模块，用于将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。本专利技术实施例还提供了一种多目标跟踪设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述多目标跟踪方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标跟踪程序，所述多目标跟踪程序被处理器执行时实现如前任一项所述多目标跟踪方法的步骤。本申请提供的技术方案的优点在于，利用全卷积神经网络对每一帧图像进行粗略的语义分割得到车辆与背景的区分，然后计算车辆位置信息，通本文档来自技高网...

【技术保护点】
1.一种多目标跟踪方法，其特征在于，包括：将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；判断每个目标车辆的最小差值是否不大于预设阈值；若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像新出现的源车辆；其中，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；所述目标分割模型为基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练所得；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：将待跟踪车辆图像输入预先构建的目标分割模型中，得到所述待跟踪车辆图像中各目标车辆的位置坐标信息；依次计算每个目标车辆与前一帧车辆图像中各源车辆的位置坐标的差值，并从各差值中确定最小差值；判断每个目标车辆的最小差值是否不大于预设阈值；若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像新出现的源车辆；其中，所述目标分割模型用于从输入的待跟踪车辆图像中分割得到车辆子图像，并计算各车辆在所述待跟踪车辆图像的位置坐标；所述目标分割模型为基于FCN算法、对多张预先标注车型信息和车辆位置的样本图像训练所得；所述阈值为基于运动物体在视频中的连续性确定的同一车辆在相邻两帧图像中的最大位置差。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述目标车辆作为在所述待跟踪车辆图像出现的新源车辆之后，还包括：若当前目标车辆的最小差值大于预设阈值，则将所述当前目标车辆的位置坐标信息和所述待跟踪车辆图像输入至预先构建的车型识别模型中，得到所述当前目标车辆的车型信息；其中，所述车型识别模型用于检测并识别输入车辆图像中车辆的车型信息，为训练多张预先标记车型信息的样本图像训练所得。3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述得到所述当前目标车辆的车型信息之后，还包括：将所述车型信息输入预先构建质量估算模型中，得到所述当前目标车辆的重量值；所述质量估算模型为训练多张预先标记车型信息和重量信息的样本图像训练所得。4.根据权利要求1至3任意一项所述的多目标跟踪方法，其特征在于，所述判断每个目标车辆的最小差值是否不大于预设阈值，若是，则目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标；若否，则目标车辆作为在所述待跟踪车辆图像出现的新源车辆包括：所述待跟踪车辆图像中的目标车辆的个数为N个，所述待跟踪车辆图像的前一帧车辆图像中的源车辆的个数为n个，且N≥n；判断所述待跟踪车辆图像中是否存在n个目标车辆的最小差值均不大于所述阈值；若是，则将这n个目标车辆分别为相对应最小差值对应源车辆在所述待跟踪车辆图像中的跟踪目标，其余N-n个目标车辆作为在所述待跟踪车辆图像新出现的源车辆；若否，将最小差值不大于预设阈值的目标车辆为所述最小差值对应源车辆在所述待跟踪车辆图像中的...

【专利技术属性】
技术研发人员：黄国恒，张挥谦，黄斯彤，胡可，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44