一种单摄像头的商店客人在线跟踪算法制造技术

本发明专利技术公开了一种单摄像头的商店客人在线跟踪算法，涉及图像处理领域。本发明专利技术包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；步骤S03：对每个检测出来的行人分配ID并持续进行追踪。本发明专利技术通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题进行了优化改进，提高了视频人物追踪的准确率，降低了成本。

A Single Camera Online Shop Guest Tracking Algorithms

The invention discloses a single camera online customer tracking algorithm, which relates to the field of image processing. The invention comprises the following steps: 1) 01; real-time acquisition and storage of video images captured by a single camera; 02: target detection of video streams and acquisition of bounding boxes for each pedestrian by using data obtained from in-depth learning in advance; and 103: assigning ID to each detected pedestrian and tracking continuously. The invention trains the practical RCNN as a deep learning model, detects the target of each video stream and obtains the bounding box of each pedestrian, optimizes and improves the problem of mutual occlusion of pedestrians, improves the accuracy of video character tracking and reduces the cost.

【技术实现步骤摘要】
一种单摄像头的商店客人在线跟踪算法
本专利技术属于图像处理领域，特别是涉及一种单摄像头的商店客人在线跟踪算法。
技术介绍
在日常生活中，很多商店会有摄像头这一设施，用来监控来往的顾客。然而，摄像头只能捕获一系列的图像并储存至电脑中，具体去识别这些来往的人仍旧需要人来手动去翻查视频，仍然需要花费大量的时间去对视频的内容进行辨别，这是一件非常浪费人力的事情。而在深度学习出现后，机器学习能够代替人力完成很多原本很难实现的问题，于是我们便想到利用计算机来对摄像头捕获的图像进行分析，对图像中的人物进行追踪，从而大大降低识别这些视频的人力成本。
技术实现思路
本专利技术的目的在于提供一种单摄像头的商店客人在线跟踪算法，通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题提出了优化改进，解决了现有的视频人物追踪困难、成本高的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种单摄像头的商店客人在线跟踪算法，包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；步骤S03：对每个检测出来的行人分配ID并持续进行追踪；其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；其中，更新对应的tracker状态时，会遇到以下三种情况之一：情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；情况C、当tracker有多帧未有绑定时，则删除tracker。优选地，所述情况C中，若tracker当前帧没有BBox与其绑定，则：若tracker上次出现在边缘部分，且tracker消失了k帧，则这个tracker出栈；若tracker上次出现在内部，且tracker消失了h＝10k帧，则这个tracker出栈。优选地，所述步骤S02中，当行人之间出现互相遮挡，则对每一个tracker增加一个属性pair；对于当前帧中没有被match的tracker，若tracker在内部且没有pair，则在有match的trackers中寻找IOU最大的tracker；当IOU大于0.3时，则先设其为pair；再之后的视频帧中，新的BBox跟IOU最大的tracker进行比较，除了比较自身预估的位置，还需比较pair_tracker的预估BBox，并获取最大IOU的值。本专利技术具有以下有益效果：本专利技术通过实用RCNN作为深度学习模型进行训练，对每一帧视频流进行目标检测并获取每一个行人的包围盒，并针对行人相互遮挡的问题进行了优化改进，提高了视频人物追踪的准确率，降低了成本。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种单摄像头的商店客人在线跟踪算法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1所示，本专利技术为一种单摄像头的商店客人在线跟踪算法，包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒，包围盒即为BBox；包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象；包围盒在计算机图形学与计算机几何领域应用最为广泛，一组物体的包围盒就是将物体组合完全包容起来的一个封闭空间，将复杂物体封装在简单的包围盒中，用简单的包围盒形状来近似代替复杂几何体的形状，就可以提高几何运算的效率，并且通常简单的物体比较容易检查相互之间的重叠；步骤S03：对每个检测出来的行人分配ID并持续进行追踪；其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；其中，更新对应的tracker状态时，会遇到以下三种情况之一：情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；情况C、当tracker有5帧未有绑定时，则可能删除tracker。在深度学习中，一个好的学习模型能够极大节约训练的成本与提高效率，因此该篇专利通过RCNN作为深度学习训练，通过公开的数据集作为初解的训练参数，对该数据集进行微调，获得一个更加适用商店中的客人追踪的模型；通过对一个目标摄像头所抓取的视频中，标记5分钟的视频，并将这5分钟的视频，对已有的模型进行fine-tune微调后，能够得到一个具有准确率高的结果了。其中，由于行人不会凭空消失，只会在边缘部分才会出摄像头，对于每个tracker，在情况C中，若tracker当前帧没有BBox与其绑定，则：若tracker上次出现在边缘部分，且tracker消失了5帧，则这个tracker出栈；若tracker上次出现在内部，且tracker消失了50帧，则这个tracker出栈。其中，步骤S02中，当行人之间出现互相遮挡，则对每一个tracker增加一个属性pair；对于当前帧中没有被match的tracker，若tracker在内部且没有pair，则在有match的trackers中寻找IOU最大的tracker；当IOU大于0.3时，则先设其为pair；再之后的视频帧中，新的BBox跟IOU最大的tracker进行比较，除了比较自身预估的位置，还需比较pair_tracker的预估BBox，并获取最大IOU的值；当找不到IOU大于0.3的tracker，则考虑增加新的tracker；若BBox处于非边缘部分，则不添加新的tracker。进过改进或的RCNN模型，能够非常准确的跟踪识别摄像头里的进过的行人，并给出他们的本文档来自技高网...

【技术保护点】
1.一种单摄像头的商店客人在线跟踪算法，其特征在于，包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；步骤S03：对每个检测出来的行人分配ID并持续进行追踪；其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：

【技术特征摘要】
1.一种单摄像头的商店客人在线跟踪算法，其特征在于，包括如下步骤：步骤S01；实时获取单个摄像头拍摄的视屏图像并进行存储；步骤S02：利用预先深度学习获得的数据对视频流进行目标检测并获取每一个行人的包围盒；步骤S03：对每个检测出来的行人分配ID并持续进行追踪；其中，步骤S02中，对视频流的每一帧进行目标检测，得到每一帧内的目标的BBox区域，建立tracker对应每一个行人，目标的状态表示用公式：式中，u,v为目标的BBox中心坐标，s为BBox的尺寸，r为BBox的长宽比，为目标行人的速度，根据每帧根据检测到的目标，计算与各个tracker的重合比例更新对应的tracker状态；其中，更新对应的tracker状态时，会遇到以下三种情况之一：情况A、当目标检测中得到的BBox与当前所有trackerIOU值均小于0.3时，新建tracker并与其绑定；情况B、当目标检测中得到的BBox与当前所有trackerIOU值均不小于0.3时，该BBox不与tracker绑定；情况C、...

【专利技术属性】
技术研发人员：王士玮，崇斯杰，杨周旺，王康，
申请(专利权)人：合肥阿巴赛信息科技有限公司，
类型：发明
国别省市：安徽,34