一种基于yolo和质心跟踪的门店入店率统计方法技术

一种基于yolo和质心跟踪的门店入店率统计方法，涉及监控视频、深度学习、计算机视觉、行人检测领域,本发明专利技术通过yolo目标检测模型，对监控视频中的画面进行实时检测；从而得到每帧图像数据中的目标类别和其对应的目标位置，筛选出属于人的类别，存储该目标的质心位置；再通过质心跟踪算法跟踪目标，保持目标ID的唯一分配，通过视频的上下帧计算得出目标运动方向，统计入店与经过门店的人数，得出入店率。本发明专利技术提供一种基于yolo和质心跟踪的门店入店率统计方法，该方法算法简单，利于软件实现，通过目标检测和质心跟踪算法实现行人运动方向的统计。

A Statistical Method of Store Entry Rate Based on Yolo and Centroid Tracking

A statistical method of store entrance rate based on Yolo and centroid tracking is proposed, which involves the fields of surveillance video, in-depth learning, computer vision and pedestrian detection. The present invention detects the images in surveillance video in real time through Yolo target detection model, thus obtains the target category and its corresponding target location in each frame of image data, screens out the categories belonging to human beings, and stores the target. Then the centroid tracking algorithm is used to track the target and keep the unique allocation of the target ID. The moving direction of the target is calculated by the upper and lower frames of the video. The number of people entering and passing the store is counted and the rate of entering the store is obtained. The invention provides a statistical method of store entrance rate based on Yolo and centroid tracking. The method has simple algorithm and is convenient for software implementation. The pedestrian movement direction statistics is realized by target detection and centroid tracking algorithm.

【技术实现步骤摘要】
一种基于yolo和质心跟踪的门店入店率统计方法
本专利技术涉及监控视频、深度学习、计算机视觉、行人检测，特别是涉及一种基于yolo和质心跟踪的门店入店率统计方法。
技术介绍
现如今有一个比较糟糕的状态，每天在店铺门口经过的人很多，但是进店的就很少，然而大的客流量意味着高价房租，高运营成本，如果高的成本得不到相应的报酬，无疑是店铺走向衰亡的开始。为避免这种情况发生，大多数店铺会通过举办活动来吸引客流，例如满赠活动、抽奖、打折等，作为店铺需要了解这些活动中有哪些是对行人心理的正确解读，在店铺门口安装一个摄像头统计客流量与入店的人数，从而能得出哪些积极活动更受行人的注意。店铺的运营成本包括基础设施和员工工资，通过门店入店率统计方法分析每天每个时段的客流量与入店率来分配员工在岗人数，可以有效降低人力资源的浪费并降低运营成本。既有的行人计数主要分为三类，即人工计数、基于传感器的行人计数与基于计算机视觉的行人计数。人工计数费力费才，对于大的人流量来说人工计数就会劣势很多；对于传感器进行行人计数具有局限性，如今红外线属于一个较为普遍的传感器计数方法，为求检测的精度只能设置单通道，不适用于公共场所的大量的行人计数；基于计算机视觉的行人计数可以通过实时的视频分析来获取客流量，具有普适性和便捷性。对于行人检测，已有的方法中，有利用方向梯度直方图作为行人检测的描述子，再用SVM进行分类，这种方法精度不是很高，容易误检，而基于深度学习的目标检测方法one-stage和two-stage具有较高的精度，但是运算速度慢，无法达到实时目标检测的效果。
技术实现思路
为实现上述专利技术目的，本专利技术提供一种基于yolo和质心跟踪的门店入店率统计方法，该方法算法简单，利于软件实现，通过目标检测和质心跟踪算法实现行人运动方向的统计。本专利技术解决其技术问题所采用的技术方案如下：一种基于yolo和质心跟踪的门店入店率统计方法，包括以下步骤：1)读入高角度监控视频，基于yolov3的检测模型检测行人：读取门店门口监控视频，对输入的每帧图像进行预处理，设置门店营业时间区间，加载yolov3模型；2)启用质心跟踪算法：对检测到的行人，创建对象跟踪器跟踪在框架中移动的对象，直到到达第n帧，重新运行目标检测器；3)计算入店率：跟踪行人目标，通过前后帧的帧间差，计算出行人的运动方向，通过实际的经过门店门口人数与实际入店人数，计算入店率。进一步，所述步骤1)中，输入图像通过特征提取网络DarkNet53提取特征，从三种不同尺度的特征图谱上进行预测任务的步骤。再进一步，所述步骤2)中，启用质心跟踪算法，对每帧中检测到的对象传入边界框坐标，通过这些边界框坐标，计算出第n帧时的质心坐标(Xn,Yn)，并为它们分配唯一的id，计算新边界框与现有对象之间的欧氏距离，质心跟踪算法假定它们之间具有最小欧氏距离的质心是相同的目标id。更进一步，所述步骤3)中，跟踪行人目标，通过目标的第n帧与第n-1帧的帧间差，计算出行人运动方向，并根据统计出的门店门口实际经过数与入店数得出出入店率。与现有技术相比，本专利技术技术方案的优点是：(1)本专利技术提供了一种基于yolo和质心跟踪的门店入店率统计方法，解决了现有检测精度不高且检测模型难以具有实时性的问题。(2)本专利技术在复杂的环境下，比如人流量较大和光照发生变化的环境下，也具有较高的精度和较快的检测速度。(3)本专利技术实时的对入店率进行统计，能够较好的帮助门店提高入店转换率和节约运营成本。附图说明图1是行人入店率统计方法的流程图。图2是yolov3的网络结构图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只应用于解释本专利技术，并非用于限定本专利技术的应用。参照图1和图2，一种基于yolo和质心跟踪的门店入店率统计方法，包括以下步骤：1)读入高角度监控视频，用基于yolov3的检测模型检测行人，过程如下；1.1、读取监控视频：在门店门口的摄像头为本专利技术提供视频数据并预处理每帧图像，将每帧图像的分辨率调为416*416，设置门店营业时间区间，可让程序只关注于营业时间，减少额外的计算资源；设置skip-frames，对象检测在计算上很昂贵，但是它确实有助于我们的跟踪器重新评估帧中的对象，在本专利技术中，默认检测器模型在检测对象之间跳过50帧。1.2、yolov3实时检测视频中的行人首先对yolov3进行初始化，读取参数文件，解析yolov3模型，加载模型权重。将处理过的视频图像数据同步到GPU显存中，进入YOLO网络层处理。YOLOv3使用的特征提取网络是DarkNet53，这个网络由残差单元叠加而成，使得训练深层网络难度大大减小。每帧输入的图像首先通过特征提取网络提取特征，输出S*S的卷积特征图，并将输入图像分为S*S个gridcell，通过预测层使用anchorboxes预测目标类别和坐标。Boundingbox坐标(bx,by,bw,bh)预测公式为：bx＝σ(tx)+cxby＝σ(ty)+cy其中tx,ty,tw,th为yolov3为每个boundingbox预测的中心点坐标与预测边框的宽、高，cx,cy为框的中心坐标所在gridcell网格的坐标偏移量，pw,ph为预测前anchor的宽高。在yolov3中一个gridcell有三个anchor，当groundtruth中的某个物体的中心坐标落在那个gridcell中就由该gridcell预测该物体，在选择计算bx,by,bw,bh的loss时，选择三个anchor中confidence最高的那个anchor计算groundtruth的损失，如果没有目标中心点落在该gridcell中，则不计算bx,by,bw,bh的loss，yolov3采用的多分类损失函数为二分类损失函数binary_cross_entropy：其中y(i)为二分类标签值，i∈{1,2}，x(i)为预测输出值，值在0～1之间。最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标。2)启用质心跟踪算法，保持唯一id的分配，过程如下：2.1、通过边界框坐标计算质心在每个帧中为每个检测到的对象传入一组边界框坐标(startXn,startYn,endXn,endYn)，通过这些边界框坐标，计算出第n帧时的质心坐标(Xn,Yn)，并为它们分配唯一的id，其中：视频帧中的对象ID序列为：ID＝{id1,id2,...,idj}其中，idj为一个对象目标，j∈N。2.2、计算新边界框与现有对象之间的欧氏距离对于视频流中的第n+1帧，应用计算对象质心的步骤2.1；为了不破坏对象跟踪，我们首先需要确定是否可以将第n帧的质心与第n-1帧时的质心相关联，而不是为每一个检测到的对象分配新的唯一id。为了完成这个过程，我们计算在视频中第n帧共出现的个I目标质心和第n-1帧出现的所有id质心之间的欧氏距离d：其中(Xin，Yin)为第n帧中第i个目标质心的坐标，0≤i≤I，(Xj(n-1),Yj(n-1))为第n-1帧中idj的质心坐标，j∈N。质心跟踪算法假定它们之间具有最小欧氏距离的质心是相同的目标id，即id(i)＝idj，其中(i),j满足d(i)j＝min{dij}。2.3、注册新本文档来自技高网...

【技术保护点】
1.一种基于yolo和质心跟踪的门店入店率统计方法，其特征在于，所述方法包括以下步骤：1)读入高角度监控视频，基于yolov3的检测模型检测行人：读取门店门口监控视频，对输入的每帧图像进行预处理，设置门店营业时间区间，加载yolov3模型；2)启用质心跟踪算法：对检测到的行人，创建对象跟踪器跟踪在框架中移动的对象，直到到达第n帧，重新运行目标检测器；3)计算入店率：跟踪行人目标，通过前后帧的帧间差，计算出行人的运动方向，通过实际的经过门店门口人数与实际入店人数，计算入店率。

【技术特征摘要】
1.一种基于yolo和质心跟踪的门店入店率统计方法，其特征在于，所述方法包括以下步骤：1)读入高角度监控视频，基于yolov3的检测模型检测行人：读取门店门口监控视频，对输入的每帧图像进行预处理，设置门店营业时间区间，加载yolov3模型；2)启用质心跟踪算法：对检测到的行人，创建对象跟踪器跟踪在框架中移动的对象，直到到达第n帧，重新运行目标检测器；3)计算入店率：跟踪行人目标，通过前后帧的帧间差，计算出行人的运动方向，通过实际的经过门店门口人数与实际入店人数，计算入店率。2.如权利要求1所述的一种基于yolo和质心跟踪的门店入店率统计方法，其特征在于：所述步骤1)中，输入图像通过特征提取网络DarkNet53提取...

【专利技术属性】
技术研发人员：宣琦，袁琴，徐东伟，翔云，刘毅，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33