一种客流排队时间的检测方法、装置及系统制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种客流排队时间的检测方法、装置及系统。该方法包括：获取待检测视频图像帧集合；根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。采用本发明专利技术技术方案确定排队人员的排队时间，不但可以准确的确定排队人员需要排队的时间，还可以节约硬件成本，降低计算资源的需求。

A detection method, device and system of passenger flow queuing time

【技术实现步骤摘要】
一种客流排队时间的检测方法、装置及系统
本专利技术涉及人工智能
，特别涉及一种客流排队时间的检测方法、装置及系统。
技术介绍
近年来，以卷积神经网络为代表的深度学习技术被广泛应用于各类人工智能任务，例如物体分类、人脸识别、行人身份再识别等。卷积神经网络在这些问题上取得的突破性进展源于其层次化的学习结构所带来的强大表达能力。在客流统计应用场景中，客流排队时间是一个非常重要的参数。由于客流速度未知，估算排队时间有误差。通常根据领域经验设置客流速度，若客流速度改变，往往无法及时更新。由于客流排队时间是一个十分重要的信息。通过对客流排队时间的估计，可以作出客流疏导的方案。若客流过度拥挤，很容易导致顾客放弃排队，造成成交率下降。在地铁、公园等场所，甚至可能引发踩踏事件。但是，客流排队时间的估计也是一个十分困难的问题。首先，客流的信息很难采集。传统的方式是在进门处放置闸机，统计客流量，进而估算排队时间。其次，顾客在排队的过程中会有各种变动，例如插队、放弃排队等。另外，当客流十分拥挤的情况下，顾客之间存在遮挡的问题，导致获取的信息不完整。在现有技术的实现过程中，专利技术人发现现有技术至少存在如下技术问题：现有技术中客流排队时间检测不够精确，且无法根据实际情况进行实时判断，给出实时排队时间，且需要多台硬件设备配合实现，从而使得系统的使用和维护成本较高。
技术实现思路
本专利技术的目的在于提供一种客流排队时间的检测方法、装置及系统，以克服现有技术中的缺陷。为解决上述技术问题，本专利技术的实施方式提供了一种客流排队时间的检测方法，包括：获取待检测视频图像帧集合；根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。本专利技术的实施方式还提供了一种客流排队时间的检测装置，包括。信息获取单元，用于获取待检测视频图像帧集合；聚类单元，用于根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；排队时间确定单元，用于根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。本专利技术的实施方式还提供了一种客流排队时间的检测系统，包括：如上所述客流排队时间的检测装置。本专利技术提供的一种客流排队时间的检测方法、装置及系统，通过获取待检测视频图像帧集合；根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。采用本专利技术技术方案确定排队人员的排队时间，不但可以准确的确定排队人员需要排队的时间，还可以节约硬件成本，降低计算资源的需求。附图说明图1是本专利技术实施例提供的一种客流排队时间的检测方法流程图；图2(a)是本专利技术实施例提供的一种客流排队时间的检测方法排队时间计算示意图；图2(b)是本专利技术实施例提供的结合图2(a)客流排队时间的检测方法排队时间计算列表；图3是本专利技术实施例提供的一种客流排队时间的检测装置结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。本专利技术的第一实施方式涉及一种客流排队时间的检测方法。具体流程如图1所示。该方法包括：101：获取待检测视频图像帧集合；102：根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；103：根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。需要说明的是，所述根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合的步骤，包括：将所述待检测视频图像帧集合中的各个帧进行人脸识别，获取人脸属性信息；根据所述人脸属性信息，进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息。还需要说明的是，所述根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间的步骤，包括：根据所述人脸特征信息和所述人脸时间信息，按照时间先后对所述相同人脸聚类集合中各个人脸排序；所述相同人脸聚类集合对应人脸时间信息包括：首次抓拍时间和末次抓拍时间；按照所述首次抓拍时间，将所述至少一组相同人脸聚类集合进行排序，获取所述相同人脸聚类集合1，2，……，N-1，N；根据所述相同人脸聚类集合N的首次抓拍时间与相同人脸聚类集合N-1的末次抓拍时间，确定所述相同人脸聚类集合1，2，……，N-1，N的排队时间。还需要说明的是，所述相同人脸聚类集合1，2，……，N-1，N；如果所述相同人脸聚类集合N的首次抓拍时间大于等于所述相同人脸聚类集合N-1的末次抓拍时间，则所述相同人脸聚类集合N对应的人的排队时间为0。基于以上如图1所示的具体实施例，以下设在排队区域正面安装一台摄像机，也就是使得摄像机可以拍到排队人员的正脸；摄像机高度2.5m-3.5m，倾斜角度45度，可以拍到队伍的队尾。所述客流排队时间的检测方法在检测过程中首先，捕捉并提取人脸特征；人脸识别的本质是需要有一个模型可以提取人脸图片的特征向量，同一个人的两个特征向量距离近，而不同人的两个特征向量距离远。本方案使用深度学习算法，构建人脸识别模型，来识别图像中的人脸。人脸识别模型的过程由关键点检测，人脸对齐与人脸对比三个过程构成，首先关键点检测模型检测出排队人群人脸的5个关键点(两只眼睛，鼻子，两个嘴角)，再通过人脸对齐算法将人脸进行对齐，最后通过人脸识别模型计算出一个256维的特征向量，记为f。对于排队区域入口处的第i时刻图像中所有提取的特征集合，记为Fi＝{fi,k|k＝1,2,3...}，k为图像中人脸序号。其次，人脸匹配与聚类；对于Fi＝{fi,k|k＝1,2,3...}，从第一个时刻的第一张抓拍开始，计算其与接下来最大排队时间之内的所有抓拍的特征向量的余弦距离，如果余弦距离大于一定的阈值，则认为是同一个人的不同抓拍，进行聚类。其中最大排队时间与阈值是超参数可以随着实际场景进行调节。需要说明的是，如图2(a)和图2(b)所示本专利技术中排队时间是指从排队开始到排队至队首的时间。通过人脸对比方法，将同一个人的人脸抓拍进行聚类，这种方法可以有效的解决在队伍中人脸抓拍被遮挡的情况。我们将人脸聚本文档来自技高网...

【技术保护点】
1.一种客流排队时间的检测方法，其特征在于，包括：/n获取待检测视频图像帧集合；/n根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；/n根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。/n

【技术特征摘要】
1.一种客流排队时间的检测方法，其特征在于，包括：
获取待检测视频图像帧集合；
根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息；
根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间。


2.根据权利要求1所述的客流排队时间的检测方法，其特征在于，所述根据所述待检测视频图像帧集合进行人脸聚类，获取至少一组相同人脸聚类集合的步骤，包括：
将所述待检测视频图像帧集合中的各个帧进行人脸识别，获取人脸属性信息；
根据所述人脸属性信息，进行人脸聚类，获取至少一组相同人脸聚类集合；所述相同人脸聚类集合包括：人脸特征信息和人脸抓拍时间信息。


3.根据权利要求2所述的客流排队时间的检测方法，其特征在于，所述根据所述人脸特征信息和所述人脸时间信息，确定所述相同人脸聚类集合的排队时间的步骤，包括：
根据所述人脸特征信息和所述人脸时间信息，按照时间先后对所述相同人脸聚类集合中各个人脸排序；所述相同人脸聚类集合对应人脸时间信息包括：首次抓拍时间和末次抓拍时间；
按照所述首次抓拍时间，将所述至少一组相同人脸聚类集合进行排序，获取所述相同人脸聚类集合1，2，……，N-1，N；
根据所述相同人脸聚类集合N的首次抓拍时间与相同人脸聚类集合N-1的末次抓拍时间，确定所述相同人脸聚类集合1，2，……，N-1，N的排队时间。


4.根据权利要求3所述的客流排队时间的检测方法，其特征在于，
所述相同人脸聚类集合1，2，……，N-1，N；
如果所述相同人脸聚类集合N的首次抓拍时间大于等于所述相同人脸聚类集合N-1的末次抓拍时间，则所述相同人脸聚类集合N对应的人的排队时间为0。

...

【专利技术属性】
技术研发人员：杨帆，柯佳琪，徐子豪，陶海，
申请(专利权)人：北京文安智能技术股份有限公司，
类型：发明
国别省市：北京;11