目标跟踪方法、装置及电子设备制造方法及图纸

本申请提供了一种目标跟踪方法、装置及电子设备，包括：确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据第一运动轨迹的端点所在的图像，确定端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在端点所在的图像中对目标行人进行行为识别；若目标行人相对于车辆的行为与端点所对应的预设行为相同，根据第二运动轨迹和第一运动轨迹确定所述目标行人的跟踪轨迹。这样能够将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪的技术效果。

【技术实现步骤摘要】
目标跟踪方法、装置及电子设备
本专利技术涉及行人跟踪
，尤其是涉及一种目标跟踪方法、装置及电子设备。
技术介绍
目标跟踪是目前安防应用中重要环节之一，目标跟踪就是在一段视频序列中的每幅图像中实时地找到目标(包括行人和车辆等)。简单说，就是在视频序列中为目标定位。然而，当行人和车辆在视频序列中出现重叠时，将无法再对行人或者车辆继续完成跟踪，例如，在行人上车后，将无法继续跟踪行人。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种目标跟踪方法、装置及电子设备，以缓解现有技术中存在的在行人发生上车行为后或者发生下车行为前无法对行人进行跟踪的技术问题。第一方面，本专利技术实施例提供了一种目标跟踪方法，包括：确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述在与所述端点对应的多张图像中对目标行人进行行为识别，包括：根据所述端点所在图像帧的采集时刻确定候选时间段；利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列；根据所述特征序列确定所述预设行为的发生概率；根据所述预设行为的发生概率确定所述目标行人的行为。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，根据所述特征序列确定所述预设行为的发生概率，包括：利用循环神经网络，根据所述特征序列确定所述预设行为的发生概率。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：若所述端点为第一运动轨迹的起点且所述目标行人发生下车行为，则确定所述目标行人的行为与所述端点所对应的预设行为相同；或者，若所述端点为第一运动轨迹的终点且所述目标行人发生上车行为，确定所述目标行人的行为与所述端点所对应的预设行为相同。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，确定视频序列中目标行人的第一运动轨迹，包括：检测所述视频序列中的行人框；利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹，包括：分别将所述多个行人特征与所述目标行人的特征进行对比；确定所述多个行人特征中与所述目标行人的特征的相似度超过第一预设阈值的目标行人特征；将所述目标行人特征对应的行人确定为目标行人，得到所述目标行人的第一运动轨迹。结合第一方面，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，确定视频序列中车辆的第二运动轨迹，包括：检测所述视频序列中的多个车辆框；利用卷积神经网络对所述视频序列内多个车辆框中的车辆进行处理，得到多个车辆特征；根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹。结合第一方面，本专利技术实施例提供了第一方面的第八种可能的实施方式，其中，所述根据所述多个车辆特征进行车辆再识别，以得到所述第二运动轨迹，包括：对所述多个车辆特征进行比对；将所述多个车辆特征中相似度超过第二预设阈值的若干个车辆特征所对应的车辆确定为同一车辆；在所述视频序列内追踪各车辆，得到第二运动轨迹。结合第一方面，本专利技术实施例提供了第一方面的第九种可能的实施方式，其中，确定视频序列中车辆的第二运动轨迹，包括：对所述视频序列中的车辆进行车牌识别，得到各车辆的车牌信息；在所述视频序列内追踪具有相同车牌信息的车辆，得到所述第二运动轨迹。结合第一方面，本专利技术实施例提供了第一方面的第十种可能的实施方式，其中，所述根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹，包括：若所述目标行人发生上车行为，则将第一运动轨迹和该端点之后的第二运动轨迹作为所述目标行人的跟踪轨迹；或者，若所述目标行人发生下车行为，且该车辆关联的乘客中包括所述目标行人，则将所述第一运动轨迹和所述目标行人在发生上车行为之后且发生下车行为之前车辆的第二运动轨迹作为所述目标行人的跟踪轨迹；或者，若所述目标行人发生下车行为，且该车辆关联的乘客中没有所述目标行人，则将所述目标行人下车之后的第一运动轨迹作为所述目标行人的跟踪轨迹。结合第一方面，本专利技术实施例提供了第一方面的第十一种可能的实施方式，其中，所述方法还包括：将所述第二运动轨迹的第一轨迹标识和所述第一运动轨迹的第二轨迹标识添加至所述目标行人的跟踪轨迹集合中。第二方面，本专利技术实施例还提供一种目标跟踪装置，包括：第一确定模块，用于确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；行为识别模块，用于当根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件时，在所述端点所在的图像中对所述目标行人进行行为识别；第二确定模块，用于当所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同时，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。第四方面，本专利技术实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述第一方面所述的方法。本专利技术实施例通过首先确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在与所述端点对应的图像端点所在的图像中对所述目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，则可以根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。本专利技术实施例能够将在行人和车辆在视频序列中出现重叠时，继续对行人或者车辆完成跟踪，在行人上车后，将继续跟踪车辆，而且可以得到在行人下车前随车辆运动的运动轨迹，实现行人车辆的混合跟踪。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结本文档来自技高网...

【技术保护点】
一种目标跟踪方法，其特征在于，包括：确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对所述目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：确定视频序列中目标行人的第一运动轨迹及车辆的第二运动轨迹；若根据所述第一运动轨迹的端点所在的图像，确定所述端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件，则在所述端点所在的图像中对所述目标行人进行行为识别；若所述目标行人相对于车辆的行为与所述端点所对应的预设行为相同，根据所述第二运动轨迹和所述第一运动轨迹确定所述目标行人的跟踪轨迹。2.根据权利要求1所述的目标跟踪方法，其特征在于，所述方法还包括：当根据所述第一运动轨迹的端点所在的图像，确定所述第一运动轨迹的端点所对应的行人位置与所述第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离小于或者等于预设重叠阈值时，确定所述端点所对应的行人位置与第二运动轨迹上位于所述图像的一点所对应的车辆位置之间的距离满足预设重叠条件。3.根据权利要求1或2所述的目标跟踪方法，其特征在于，所述在所述端点所在的图像中对目标行人进行行为识别，包括：根据所述端点所在图像帧的采集时刻确定候选时间段；利用卷积神经网络对所述候选时间段内的图像序列进行处理，得到所述图像序列的特征序列；根据所述特征序列确定所述预设行为的发生概率；根据所述预设行为的发生概率确定所述目标行人的行为。4.根据权利要求3所述的目标跟踪方法，其特征在于，所述根据所述特征序列确定所述预设行为的发生概率，包括：利用循环神经网络，根据所述特征序列确定所述预设行为的发生概率。5.根据权利要求1或2所述的目标跟踪方法，其特征在于，所述方法还包括：若所述端点为第一运动轨迹的起点且所述目标行人发生下车行为，则确定所述目标行人的行为与所述端点所对应的预设行为相同；或者，若所述端点为第一运动轨迹的终点且所述目标行人发生上车行为，确定所述目标行人的行为与所述端点所对应的预设行为相同。6.根据权利要求1或2所述的目标跟踪方法，其特征在于，所述确定视频序列中目标行人的第一运动轨迹，包括：检测所述视频序列中的行人框；利用卷积神经网络对所述视频序列中的行人框进行再识别，得到多个行人特征；根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹。7.根据权利要求6所述的目标跟踪方法，其特征在于，所述根据所述多个行人特征进行行人再识别，确定所述目标行人的第一运动轨迹，包括：分别将所述多个行人特征与所述目标行人的特征进行对比；确定所述多个行人特征中与所述目标行人的特征的相似度超过第一预设阈值的目标行人特征；将所述目标行人特征对应的行人确定为目标行人，得到所述目标行人的第一运动轨迹。8.根据权利要求1或2所述的目标跟踪方法，其特征在于...

【专利技术属性】
技术研发人员：李云锴，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11