一种店铺人流识别分析的方法和系统技术方案

本发明专利技术涉及一种店铺人流识别分析的方法和系统。所述方法包括步骤：服务器读取视频流，提取视频帧，由视频图像处理识别模块根据深度神经网络目标识别模型标识出紧密包围可识别物体轮廓的矩形边框及可识别物体可能为某一设定目标的概率，根据深度神经网络关键点识别模型识别出对应人体骨骼点的关键点，基于关键点的相对位置和帧与帧之间的间隔时间序列关系计算边框内目标人物的姿态、轨迹、运动状态等瞬间和一定时间轴上的属性，最终对一定时长内可识别的客流群体进行统计并展现给用户。所述系统包括实现所述方法的组件。本发明专利技术构建了全面立体的视频监控数据与店铺运营管理的联合体系，能为业主提供客观准确、有价值的店铺内人员、客流监控分析。

A Method and System for Identification and Analysis of Shop Flow

The invention relates to a method and a system for identifying and analyzing shop flow. The method includes the following steps: the server reads the video stream, extracts the video frame, identifies the rectangular border that closely surrounds the contour of the recognizable object and the probability that the recognizable object may be a given target according to the target recognition model of the depth neural network by the video image processing recognition module, and identifies the key points corresponding to the human skeleton points according to the key point recognition model of the depth neural network. Based on the relative position of key points and the time-series relationship between frames and frames, the attributes of the instantaneous and time-axis of the target's posture, trajectory and motion state in the frame are calculated. Finally, the identifiable passenger flow groups in a certain period of time are counted and displayed to users. The system includes components that implement the method. The invention establishes a comprehensive three-dimensional video monitoring data and shop operation management joint system, which can provide objective, accurate and valuable monitoring and analysis of shop staff and passenger flow for owners.

【技术实现步骤摘要】
一种店铺人流识别分析的方法和系统
本专利技术涉及计算机视觉和图像识别
，具体涉及一种店铺人流识别分析的方法和系统。
技术介绍
图像识别技术是模式识别在图像领域里的具体应用，是通过计算机对图像进行处理、分析以及分类理解，以识别不同模式的目标和对象的技术。图像识别技术针对观测到的图像进行分析，分辨物体并判断类别，实现图像的再认，即利用现代信息加工整合方式与计算程序来模拟和完成人类的认识、理解过程。狭义的说，图像识别是以图像的主要特征为基础的，运用图像处理技术对图像进行识别的学科[1]。图像识别技术已被广泛运用于多个领域，而本专利所涉及的狭义上的目标识别和姿态识别技术，已经在机器人视觉、生物医药、安防安保、自动驾驶等多个领域有了前沿的应用[2]。计算机视觉和图像识别这一技术分支总体上始终处于增长的态势，在2005-2009年短暂的技术瓶颈期后，2009-2016年间整体上均处于快速成长的阶段，申请人数量增加了近1.5倍，申请量增加了2.3倍，2017年的申请人数量和申请量下降可能是由于部分2017年的申请未公开的原因。全球共有43397件该领域相关的专利申请，其中国内申请量为1985本文档来自技高网...

【技术保护点】
1.一种店铺人流识别分析的方法，其特征在于，包括以下步骤：S1、将摄像头安装在店铺中，并与服务器相连；S2、所述摄像头的电源接通开启后，在所述服务器上读取视频流，提取得到视频帧；S3、将提取的每帧画面作为视频图像处理识别模块的输入；S4、所述视频图像处理识别模块根据预先建立的深度神经网络目标识别模型，标识出紧密包围可识别物体的轮廓的矩形边框及可识别物体可能为某一设定目标的概率，目标设定包括身份、年龄和性别；S6、对处理好的边框，逐一根据预先建立的深度神经网络关键点识别模型进行识别，识别出对应人体骨骼点的17个关键点；S7、基于边框中的关键点的相对位置和帧与帧之间的间隔时间序列关系，计算边框内目...

【技术特征摘要】
1.一种店铺人流识别分析的方法，其特征在于，包括以下步骤：S1、将摄像头安装在店铺中，并与服务器相连；S2、所述摄像头的电源接通开启后，在所述服务器上读取视频流，提取得到视频帧；S3、将提取的每帧画面作为视频图像处理识别模块的输入；S4、所述视频图像处理识别模块根据预先建立的深度神经网络目标识别模型，标识出紧密包围可识别物体的轮廓的矩形边框及可识别物体可能为某一设定目标的概率，目标设定包括身份、年龄和性别；S6、对处理好的边框，逐一根据预先建立的深度神经网络关键点识别模型进行识别，识别出对应人体骨骼点的17个关键点；S7、基于边框中的关键点的相对位置和帧与帧之间的间隔时间序列关系，计算边框内目标人物的姿态、轨迹、运动状态瞬间和一定时间轴上的属性；S9、对一定时长内可识别的客流群体进行统计，统计内容包括顾客年龄层次统计、店内停留区域统计、店内轨迹统计和店内停留时间统计；对识别出的店员进行统计，统计内容包括打卡统计、出勤时长统计、工作礼仪统计和顾客跟随统计；S10、将统计结果以可视化和数据报表两种形式展现，从多维度解读店铺人流情况。2.根据权利要求1所述的店铺人流识别分析的方法，其特征在于，步骤S4和S6之间还包括步骤S5、对重合部分高于设定值的边框进行删除，对概率低于预期值的边框进行删除，对面积小于可识别值的边框进行删除。3.根据权利要求1所述的店铺人流识别分析的方法，其特征在于，步骤S6中，除了识别出边框中对应人体骨骼点的17个关键点，还给出每个关键点可能正确的概率。4.根据权利要求1所述的店铺人流识别分析的方法，其特征在于，步骤S7和S9之间还包括步骤S8、对计算出的人与物异常情况进行报警。5.根据权利要求1所述的店铺人流识别分析的方法，其特征在于，所述店铺人流识别分析的方法包括建立深度神经网络目标识别模型的步骤，具体如下：S401、初步构建深度神经网络目标识别模型将图像保存为数据文件，导入图像处理软件，手工标识出紧密包围整个人体、整个头部、整个上半身、整个下半身的轮廓的矩形边框，将以上各矩形边框的大小，各矩形边框中各色彩区域的色彩类型、形状和面积与各矩形边框中目标人物的身份、年龄和性别建立线性回归模型；S402、构建训练集训练集中每条记录需包括：包围整个人体、整个头部、整个上半身、整个下半身的轮廓的矩形边框的大小，各矩形边框中各色彩区域的色彩类型、形状和面积，各矩形边框中目标人物的身份、年龄和性别；S403、训练初步构建的深度神经网络目标识别模型将初步构建的深度神经网络目标识别模型用训练集进行训练学习、调参，得到训练后的深度神经网络目标识别模型；S404、验证训练后的深度神经网络目标识别模型将训练后的深度神经网络目标识别模型经过相关验证集的测试，直至达到准确度的要求，得到最终的深度神经网络关键点识别模型；其中验证集每条记录需包括的信息与训练集相同。6.根据权利要求1所述的店铺人流识别分析的方法，其特征在于，所述店铺人流识别分析的方法包括建立深度神经网络关键点识别模型的步骤，具体如下：S601、初步构建深度神经网络关键点识别模型将图像保存为数据文件，导入图像处理软件，手工标识出紧密包围整个人体、整个头部、整个上半身、整个下半身的轮廓的矩形边框和人体骨骼点的17个关键点，将以上各矩形边框的大小，各矩形边框中各色彩区域的色彩类...

【专利技术属性】
技术研发人员：林博，胡玉琛，
申请(专利权)人：上海宝尊电子商务有限公司，
类型：发明
国别省市：上海,31