行人聚类方法、设备及存储介质技术

本申请公开行人聚类方法、设备及存储介质，其中，行人聚类方法包括：获取多组图像序列，每组图像序列包括多个连续图像，每组图像序列分别包括一预定区域内行人的第一人体图像和第二人体图像，第一人体图像和第二人体图像为不同视角的人体图像；检测每一组图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对；获取每组人体图像对所对应的关联人脸图像，形成包括人体图像对和关联人脸图像的三元图像组；利用多组三元图像组进行聚类，获得行人聚类结果。本申请通过获取预定区域内行人的第一人体图像和第二人体图像，时间域的限制极大的保证匹配精度提高第一人体图像和第二人体图像的匹配效率和匹配精度。匹配效率和匹配精度。匹配效率和匹配精度。

【技术实现步骤摘要】
行人聚类方法、设备及存储介质


[0001]本申请属于图像识别
，具体涉及行人聚类方法、设备及存储介质。

技术介绍

[0002]行人聚类属于图像聚类领域的一个子问题，主要是将同一个人在不同摄像头下或视频中出现的人体图像自动归档在一起，其在城市安防、公安刑侦、智能楼宇和智慧零售等领域具有非常重要的应用价值。在实际的监控场景中，由于人体存在复杂的姿态变化、丰富的视角变化和遮挡等问题，导致同一身份的行人表观特征可能存在较大差异，这给人体聚类带来了巨大的挑战。

技术实现思路

[0003]本申请提供行人聚类方法、设备及存储介质，以解决人体聚类困难的技术问题。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：一种行人聚类方法，包括：获取多组图像序列，每组所述图像序列包括多个连续图像，每组所述图像序列分别包括一预定区域内行人的第一人体图像和第二人体图像，所述第一人体图像和所述第二人体图像为不同视角的人体图像；检测每一组所述图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对；获取每组所述人体图像对所对应的关联人脸图像，形成包括所述人体图像对和所述关联人脸图像的三元图像组；利用多组所述三元图像组进行聚类，获得行人聚类结果。
[0005]为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述行人聚类方法。
[0006]为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述行人聚类方法。
[0007]本申请的行人聚类方法至少具有如下优点：本申请获取的图像序列在一预定区域内，第一人体图像和第二人体图像的时间接近，且为不同视角的人体图像，提高第一人体图像和第二人体图像的匹配效率和匹配精度。且本申请只获取每个人体图像的另一个匹配人体图像，形成一组人体图像对，而现有方案通常是利用满足阈值条件的所有人体相互匹配，其存在较大的冗余和误判，对于城市级这种大体量的行人聚类来说会造成计算资源压力大和链式聚类的错误放大效应，这对行人聚类来说是致命的。本申请中的匹配方案较现有方案能有效降低信息冗余和弱化链式聚类的错误放大效应。并且本申请通过分别利用人脸和人体聚类，相比直接将人脸和人体信息融合在一起聚类，能有效的避免人脸人体语义信息不匹配的问题，并且通过将人脸和人体分开聚类，还可以然后相互修正，将极大的提高行人聚类的准确率和召回率。
附图说明
[0008]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
[0009]图1是本申请的行人聚类方法一实施例的流程示意图；
[0010]图2是本申请的行人聚类装置一实施例的框架示意图；
[0011]图3是本申请的电子设备一实施例的框架示意图；
[0012]图4是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0013]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]请参阅图1，图1是本申请的行人聚类方法一实施例的流程示意图。
[0015]本申请一实施例提供了一种行人聚类方法，包括如下步骤：
[0016]S11：获取多组图像序列，每组图像序列包括多个连续图像，每组图像序列分别包括一预定区域内行人的第一人体图像和第二人体图像。
[0017]获取多组图像序列，每组图像序列包括多个连续图像，图像序列由摄像设备获取。每组图像序列分别包括一预定区域内行人的第一人体图像和第二人体图像，第一人体图像和第二人体图像为不同视角的人体图像。
[0018]其中，每组图像序列分别由一个双向相机组获取。每个双向相机组包括第一相机和第二相机，该预定区域即为第一相机和第二相机可拍摄到的区域合集，第一相机和第二相机的拍摄轴线的夹角满足预设角度要求。需要说明的是，第一相机和第二相机不适宜并排朝向同一方向拍摄，即第一相机和第二相机的拍摄轴线的夹角不可为0
°
，以获得不同视角的第一人体图像和第二人体图像。优选地，预设角度要求为第一相机和第二相机的拍摄轴线的夹角呈30
°
至180
°
中的任一角度，例如30
°
、45
°
、90
°
、180
°
等。当一行人经过预定区域时，两个相机分别获得该行人的第一人体图像和第二人体图像。
[0019]具体地，第一相机和第二相机的拍摄轴线的夹角呈180
°
，即第一相机和第二相机正对或背对设置。而第一人体图像为正面人体图像，即行人正对第一相机时，第一相机拍摄的人体图像；第二人体图像为背面人体图像，即行人背对第一相机时，第二相机拍摄的人体图像。
[0020]通过在一个较大区域内设置多个预定区域，每个预定区域可通过一个双向相机组获得一组图像序列，用于获取行人的第一人体图像和第二人体图像，从而获得多个图像序列。
[0021]通过引入双向相机组作为基本单元，可以同时获取同一行人ID的第一人体图像和第二人体图像，提高了基本单元的信息容量，有利于解决监控场景下人体姿态变化大的问题，从而提升人体聚类的效果。并且由于一个双向相机组获取的图像序列在一预定区域内，
两个相机拍摄到的第一人体图像和第二人体图像的时间接近，提高第一人体图像和第二人体图像的匹配效率和匹配精度。
[0022]S12：检测每一组图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对。
[0023]利用人体检测算法检测每一组图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对，具体包括：
[0024]检测每一组图像序列中出现的人体。选取第一相机获得的第一人体图像P1，并以第一人体图像P1为基准，获取第二相机获得的第一人体图像P1前后预设时间段内的人体图像集合B。预定时间段根据具体双向相机组的设置进行调节，该预定时间段为目标人体进入第二相机拍摄区域的时间，可能在目标人体进入第一相机拍摄区域之前或之后。
[0025]计算第一人体图像P1与人体图像集合B内所有图像的相似度，具体可以使用行人重识别模型提取人体图像集合B内所有图像的归一化特征，计算第一人体图像P1与人体图像集合B内所有图像的余弦相似度。
[0026]从相似度大于预设阈值的图像中，选取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人聚类方法，其特征在于，包括：获取多组图像序列，每组所述图像序列包括多个连续图像，每组所述图像序列分别包括一预定区域内行人的第一人体图像和第二人体图像，所述第一人体图像和所述第二人体图像为不同视角的人体图像；检测每一组所述图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对；获取每组所述人体图像对所对应的关联人脸图像，形成包括所述人体图像对和所述关联人脸图像的三元图像组；利用多组所述三元图像组进行聚类，获得行人聚类结果。2.根据权利要求1所述的方法，其特征在于，每组所述图像序列分别由一个双向相机组获取，每个所述双向相机组包括第一相机和第二相机，以分别获得一所述预定区域内行人的所述第一人体图像和所述第二人体图像，所述第一相机和所述第二相机的拍摄轴线的夹角角度满足预设角度要求。3.根据权利要求2所述的方法，其特征在于，所述检测每一组所述图像序列中的人体图像，获取相匹配的第一人体图像和第二人体图像，以组成一组匹配的人体图像对，包括：检测每一组所述图像序列中出现的人体；选取所述第一相机获得的第一人体图像，获取所述第二相机获得的所述第一人体图像前后预设时间段内的人体图像集合；计算所述第一人体图像与所述人体图像集合内所有图像的相似度；从相似度大于预设阈值的图像中，选取相似度最高的图像确定为第二人体图像；利用所述第一人体图像和所述第二人体图像形成一组匹配的所述人体图像对。4.根据权利要求3所述的方法，其特征在于，所述选取第一相机获得的第一人体图像，包括：跟踪所述第一相机拍摄到的目标人体，获取目标人体图像序列；利用人体质量模型获取所述目标人体图像序列中的质量分数最高的人体图像，作为所述第一人体图像。5.根据权利要求3所述的方法，其特征在于，所述计算所述第一人体与所述人体图像集合内所有图像的相似度，包括：使用行人重识别模型提取所述人体图像集合内...

【专利技术属性】
技术研发人员：潘华东，杨永强，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：