一种基于度量学习的多摄像头目标关联跟踪方法技术

本发明专利技术属于计算机视频图像处理技术领域，尤其涉及一种基于度量学习的多摄像头目标关联跟踪方法。该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。该多摄像头目标关联跟踪方法包括有如下步骤：通过n个摄像头同时采集目标场所内目标物体的视频集；对目标物体进行检测跟踪，得到跟踪结果；从跟踪结果中提取出检测框；将提取出的检测框送入深度卷积网络，提取出特征向量；进行余弦距离的计算；通过阈值比较判断同一帧的物体是否相似；关联成功实现跟踪。

A multi camera target association tracking method based on metric learning

【技术实现步骤摘要】
一种基于度量学习的多摄像头目标关联跟踪方法
该专利技术属于计算机视频图像处理
，尤其涉及一种基于度量学习的多摄像头目标关联跟踪方法。
技术介绍
随着计算机视频图像处理技术的发展，多目标跟踪在智能监控、动作与行为分析、自动驾驶等领域都有了重要应用。多目标跟踪通过给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，确定一个准确的目标标识，这些运动物体可以是任意的，如行人、车辆、动物等。随着近年来目标检测领域的发展，用检测来跟踪(Tracking-by-detection)的算法在多目标跟踪中成为主流，之前出现了用于检测的流网络公式和概率图形模型，但它们处理的是整个过程的全局优化问题，不适用于在线场景。检测后使用的跟踪算法常见的有SORT算法和DeepSort算法。SORT算法使用简单的卡尔曼滤波处理逐帧数据的关联性以及使用匈牙利算法进行关联度量，这种简单的算法在高帧速率下获得了良好的性能，但由于忽略了被检测物体的表面特征，导致只有在物体状态估计不确定性较低时SORT算法才会准确。而DeepSort算法使用更加可靠的度量来代替关联度量，并使用卷积神经网络在大规模行人数据集上进行训练，提取特征，增加了网络对遗失和障碍的鲁棒性。虽然Yolo算法和DeepSort算法结合进行多目标跟踪已成为主流算法之一，但是在复杂环境造成人员遮挡、交叉等情况下，常出现上一帧物体标识与下一帧相同物体标识对应出错的情况；且如果将该算法用于多摄像头跟踪中，虽然多个摄像头能观测到的范围存在共同区域，但是无法将多个摄像头的跟踪信息关联起来，最终会导致多目标跟踪效果精度不高，目标物体的信息错误。
技术实现思路
本专利技术提供了一种基于度量学习的多摄像头目标关联跟踪方法，该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。为解决上述技术问题，本专利技术采用了如下技术方案：一种基于度量学习的多摄像头目标关联跟踪方法，包括有如下步骤：步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V1,V2,…,Vn}；其中，Vi代表标号为i的摄像头所采集的视频，且Vi＝{img1,img2,…,imgn}，imgi代表Vi视频中的第i帧图片；步骤2，使用Yolo算法对Vi中的目标物体进行检测，并使用DeepSort算法进行跟踪，得到Vi中物体的检测框DF＝{df1,df2,…,dfn}以及具体标识集ID＝{id1,id2,…,idn}；其中，idi表示Vi中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df1,id1),(df2,id2),…,(dfn,idn)}保存到本地；步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即Vj以及Vk中相同的帧imgi；分别提取出imgi中的q个对象的检测框DF1＝{d1,d2,…,dq}以及DF2＝{f1,f2,…,fq}；其中，di代表Vj的imgi中ID为idi的检测框，fi代表Vk的imgi中ID为idi的检测框；步骤4，将提取出的检测框DF1以及DF2送入深度卷积网络，提取出di以及fi的特征向量，分别记为rVj＝{r1idi,r2idi,…,rnidi},rVk＝{r1idi,r2idi,…,rnidi}；其中，rVj及rVk代表摄像头j和k在imgi帧采集到的idi的外观特征；步骤5，对rVj＝{r1idi,r2idi,…,rnidi}和rVk＝{r1idi,r2idi,…,rnidi}进行余弦距离的计算，计算公式如公式(1)所示：Cos(dis(rVj,rVk))＝1-rvjTrvk(1)其中，rvjT是rvj的转置矩阵；步骤6，通过阈值α比较判断Vj和Vk中同一帧的物体是否相似，所述阈值α由训练得到；当Cos(dis(rVj,rVk))≤α时，di和fi关联成功，判断为两个检测框中的idi相似；否则回到步骤5继续进行余弦计算，直到全部对比结束；步骤7，当di和fi关联成功，将fi对应的idi改为di对应的idi。本专利技术提供了一种基于度量学习的多摄像头目标关联跟踪方法，该多摄像头目标关联跟踪方法包括有如下步骤：通过n个摄像头同时采集目标场所内目标物体的视频集；对目标物体进行检测跟踪，得到跟踪结果；从跟踪结果中提取出检测框；将提取出的检测框送入深度卷积网络，提取出特征向量；进行余弦距离的计算；通过阈值比较判断同一帧的物体是否相似；关联成功实现跟踪。具有上述步骤特征的基于度量学习的多摄像头目标关联跟踪方法，通过多摄像头同时记录的方式，提高了记录效果；通过采用深度神经网络提取检测框内物体的外观特征，简单且鲁棒性高；通过采用余弦距离作为度量学习方法，与绝对的数值没有直接联系，能更好地度量出特征向量之间的相似度；通过采用嵌入式的方法，提升算法的稳定性与实用性。并且解决了多目标跟踪问题中复杂环境造成的人员遮挡、交叉等情况，能有效提高跟踪精度。附图说明图1为本专利技术提供的一种基于度量学习的多摄像头目标关联跟踪方法的应用场景示意图；图2为本专利技术提供的一种基于度量学习的多摄像头目标关联跟踪方法的嵌入设备结构示意图。具体实施方式本专利技术提供了一种基于度量学习的多摄像头目标关联跟踪方法，该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。一种基于度量学习的多摄像头目标关联跟踪方法，包括有如下步骤：步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V1,V2,…,Vn}；其中，Vi代表标号为i的摄像头所采集的视频，且Vi＝{img1,img2,…,imgn}，imgi代表Vi视频中的第i帧图片。值得注意的是，如图1所示，在图1中技术人员设置了2个不同方向的摄像头以采集当下场景。步骤2，使用Yolo算法对Vi中的目标物体进行检测，并使用DeepSort算法进行跟踪，得到Vi中物体的检测框DF＝{df1,df2,…,dfn}以及具体标识集ID＝{id1,id2,…,idn}；其中，idi表示Vi中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df1,id1),(df2,id2),…,(dfn,idn)}保存到本地。步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即Vj以及Vk中相同的帧imgi；分别提取出imgi中的q个对象的检测框DF1＝{d1,d2,…,dq}以及DF2＝{f1,f2,…,fq}；其中，di代表Vj的imgi中ID为idi的检测框，fi代表Vk的imgi中ID本文档来自技高网...

【技术保护点】
1.一种基于度量学习的多摄像头目标关联跟踪方法，其特征在于，包括有如下步骤：/n步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V

【技术特征摘要】
1.一种基于度量学习的多摄像头目标关联跟踪方法，其特征在于，包括有如下步骤：
步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V1,V2,…,Vn}；其中，Vi代表标号为i的摄像头所采集的视频，且Vi＝{img1,img2,…,imgn}，imgi代表Vi视频中的第i帧图片；
步骤2，使用Yolo算法对Vi中的目标物体进行检测，并使用DeepSort算法进行跟踪，得到Vi中物体的检测框DF＝{df1,df2,…,dfn}以及具体标识集ID＝{id1,id2,…,idn}；其中，idi表示Vi中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df1,id1),(df2,id2),…,(dfn,idn)}保存到本地；
步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即Vj以及Vk中相同的帧imgi；分别提取出imgi中的q个对象的检测框DF1＝{d1,d2,…,dq}以及DF2＝{f1,f2,…,fq}；其中，di代表Vj的im...

【专利技术属性】
技术研发人员：靖伟，刘文天，邹京伦，李东进，刘庆宝，聂万庆，王景泉，
申请(专利权)人：山东广域科技有限责任公司，
类型：发明
国别省市：山东;37