一种基于光流的货柜商品跟踪方法技术

本发明专利技术提供了一种基于光流的货柜商品跟踪方法，包括以下步骤：S1、利用商品信息训练检测器以及光流模型；S2、通过检测器对货柜的视频进行物体检测，在视频的每一帧图像上用检测框标示出检测到的商品；S3、遍历视频帧，将首个检测框添加到轨迹中作为轨迹的起点；S4、对于连续的每两帧图像，通过光流模型预测前一帧图像中的检测框所标示的商品在后一帧图像中的位置，将预测的位置标示为预测框；S5、计算所述预测框与后一帧图像中的检测框的匹配度，当匹配度高于设定阈值时，将后一帧图像中的检测框添加到轨迹中。本发明专利技术借助物体光流的信息有效地将目标物体进行跟踪，并且对检测过程中出现的漏检以及错检问题进行优化，整个模型框架在跟踪期间的推理简单高效。跟踪期间的推理简单高效。跟踪期间的推理简单高效。

【技术实现步骤摘要】
一种基于光流的货柜商品跟踪方法


[0001]本专利技术涉及深度学习领域，具体涉及一种基于光流的货柜商品跟踪方法。

技术介绍

[0002]多目标跟踪(MOT)是许多计算机视觉应用中需要的关键感知技术，具有广泛的应用场景，例如自动驾驶和视频监控等。除此之外的另一重要场景就是基于货柜场景的多目标物体检测跟踪。
[0003]现阶段最流行的多目标跟踪方法是基于检测器的跟踪方法，即需要基于图像中检测框的物体进行跟踪，对相邻帧之间的同一个检测物体进行跟踪。由于运动物体在运动过程中存在遮挡、运动多样性以及训练数据较少的问题，基于多目标的运动检测的跟踪方法仍然是计算机视觉中一项具有挑战性的任务。
[0004]在现有技术的应用中，大多通过两个独立的步骤来解决多目标跟踪问题：步骤1、利用神经网络提取输入帧的运动特征以及外观特征；步骤2、基于提取到的运动特征以及外观特征将相邻帧物体关联。
[0005]运动物体的运动特征描述每个目标如何从一帧移动到另一帧，可以有效地帮助我们为下一帧中的每个目标选择最优搜索区域。运动物体的外观特征有助于区别不同的运动物体，传统方法中常常利用图像直方图等人工设计的特征匹配物体。经过提取特征后，需要对相邻帧物体进匹配，在将物体进行匹配的过程中，大多采用简单的匈牙利算法对多个运动目标进行关联。
[0006]在以上所述的多目标跟踪方法中，对特征和外观提取器的要求较高，如果在提取运动特征和外观特征出现漏检以及错检的问题，就会导致后续的目标追踪也跟着出错。此外，在将相邻帧物体关联匹配的过程中也需要采取许多启发式的方法。不难发现，将特征提取以及数据关联独立化的跟踪算法效率较低。

技术实现思路

[0007]本专利技术的目的在于针对现有技术中的缺陷，提供一种基于光流的货柜商品跟踪方法，在货柜场景下利用光流以及检测框的信息，对货柜中的商品进行更加精准、高效的多目标跟踪。
[0008]为实现上述目的，本专利技术采用以下技术方案：
[0009]一种基于光流的货柜商品跟踪方法，包括以下步骤：
[0010]S1、利用商品信息训练检测器以及光流模型；
[0011]S2、通过检测器对货柜的视频进行物体检测，在视频的每一帧图像上用检测框标示出检测到的商品；
[0012]S3、遍历视频帧，将视频中出现的首个检测框所标示的商品作为初始跟踪目标，将所述首个检测框添加到轨迹T1中作为轨迹T1的起点；
[0013]S4、继续遍历视频帧，对于连续的每两帧图像，通过光流模型预测前一帧图像中的
检测框所标示的商品在后一帧图像中的位置，将预测的位置标示为预测框；
[0014]S5、计算所述预测框与后一帧图像中的检测框的匹配度，当匹配度高于设定阈值时，将后一帧图像中的检测框添加到轨迹T1中。
[0015]进一步地，在S4中，对于第t帧图像I
t
，若其前一帧图像I
t
‑1中含有轨迹T1，则将(I
t
‑1,I
t
)输入光流模型，得到前后两帧图像I
t
‑1和I
t
的光流图，并根据光流图预测所述轨迹T1在图像I
t
中的位置，将预测的位置标示为预测框B
t
；
[0016]在S5中，计算预测框B
t
与图像I
t
的检测框A
t
的匹配度，若匹配度高于设定阈值则将检测框A
t
添加到轨迹T1中。
[0017]进一步地，在S5中，计算预测框B
t
与图像I
t
的检测框A
t
的IOU，若IOU高于设定阈值则将检测框A
t
添加到轨迹T1中。
[0018]进一步地，在S4中，根据光流图预测轨迹T1在图像I
t
中的位置，将预测的位置标示为预测框B
t
的方法为：根据检测框A
t
‑1内的光流计算检测框A
t
‑1内每个像素点的位移均值和方差；基于均值获得预测框B
t
与检测框A
t
‑1之间的相对位移，进而计算预测框B
t
在图像I
t
中的位置；基于方差获得预测框B
t
与检测框A
t
‑1之间的相对形变，进而对预测框B
t
的形状和大小进行动态调整。
[0019]进一步地，还包括：S6、若预测框B
t
与图像I
t
的检测框A
t
的匹配度低于设定阈值，则对图像I
t
的前Δt帧图像进行回溯检查：
[0020]按照由后往前的顺序依次对图像I
t
‑1至图像I
t
‑
Δt
进行检查，直至出现符合以下条件的图像I
x
：所述图像I
x
中含有轨迹T1，且按照S4的方法将(I
x
,I
t
)输入光流模型后得到的预测框B
t
，与图像I
t
中的检测框A
t
的匹配度高于设定阈值；
[0021]若发现符合条件的图像I
x
，则结束回溯检查，并将检测框A
t
添加到轨迹T1中；
[0022]其中，Δt为用户设定的参数，t
‑
Δt≤x≤t
‑
1。
[0023]进一步地，所述S6还包括：对于第t帧图像I
t
，若其前一帧图像I
t
‑1中不含轨迹T1，也对图像I
t
的前Δt帧图像进行回溯检查。
[0024]进一步地，还包括：S7、若在S6中未发现符合条件的图像I
x
，则判定检测框A
t
不属于轨迹T1，将检测框A
t
所标示的商品作为另一个跟踪目标，将检测框A
t
添加到另一条新的轨迹T2中作为轨迹T2的起点。
[0025]进一步地，还包括：S8、重复S4至S7，直至遍历所有视频帧，得到轨迹T1至T
n
；筛选过滤掉其中的异常轨迹后，得到最终的轨迹结果。
[0026]进一步地，所述异常轨迹为长度小于4帧的轨迹。
[0027]借助光流以及目标检测器的发展，本专利技术设计了一种基于光流的货柜商品跟踪方法，借助物体光流的信息有效地将目标物体进行跟踪，并且对检测过程中出现的漏检以及错检问题进行优化，整个模型框架在跟踪期间的推理简单高效。
[0028]本专利技术结合光流以及检测框的信息对目标进行跟踪，基于图像光流进行可形变目标检测框预测，并且还利用回溯方法对跟踪过程由于遮挡、旋转等原因而产生的错检和漏检问题进行优化。
附图说明
[0029]图1是本专利技术中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流的货柜商品跟踪方法，其特征在于，包括以下步骤：S1、利用商品信息训练检测器以及光流模型；S2、通过检测器对货柜的视频进行物体检测，在视频的每一帧图像上用检测框标示出检测到的商品；S3、遍历视频帧，将视频中出现的首个检测框所标示的商品作为初始跟踪目标，将所述首个检测框添加到轨迹T1中作为轨迹T1的起点；S4、继续遍历视频帧，对于连续的每两帧图像，通过光流模型预测前一帧图像中的检测框所标示的商品在后一帧图像中的位置，将预测的位置标示为预测框；S5、计算所述预测框与后一帧图像中的检测框的匹配度，当匹配度高于设定阈值时，将后一帧图像中的检测框添加到轨迹T1中。2.根据权利要求1所述的基于光流的货柜商品跟踪方法，其特征在于，在S4中，对于第t帧图像I
t
，若其前一帧图像I
t
‑1中含有轨迹T1，则将(I
t
‑1,I
t
)输入光流模型，得到前后两帧图像I
t
‑1和I
t
的光流图，并根据光流图预测所述轨迹T1在图像I
t
中的位置，将预测的位置标示为预测框B
t
；在S5中，计算预测框B
t
与图像I
t
的检测框A
t
的匹配度，若匹配度高于设定阈值则将检测框A
t
添加到轨迹T1中。3.根据权利要求2所述的基于光流的货柜商品跟踪方法，其特征在于，在S5中，计算预测框B
t
与图像I
t
的检测框A
t
的IOU，若IOU高于设定阈值则将检测框A
t
添加到轨迹T1中。4.根据权利要求2所述的基于光流的货柜商品跟踪方法，其特征在于，在S4中，根据光流图预测轨迹T1在图像I
t
中的位置，将预测的位置标示为预测框B
t
的方法为：根据检测框A
t
‑1内的光流计算检测框A
t
‑1内每个像素点的位移均值和方差；基于均值获得预测框B
t
与检测框A
t
‑1之间的相对位移，进而计算预测框B
t
在图像I
t
中的位置；基于方差获得预测框B...

【专利技术属性】
技术研发人员：刘嘉杰，龚科，陈添水，
申请(专利权)人：拓元广州智慧科技有限公司，
类型：发明
国别省市：