一种行人检索方法及装置制造方法及图纸

本申请公开了一种行人检索方法及装置，属于视频监控领域。该方法包括：提取目标行人图像的第一特征数据、第二特征数据和第三特征数据，该目标行人图像为待检索的行人的图像，第一特征数据、第二特征数据和第三特征数据分别包括目标行人图像的多个全身高维特征数据、多个上半身高维特征数据和多个下半身高维特征数据；基于第一特征数据、第二特征数据和第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，并通过目标特征数据集合确定行人检索结果。由于提取的高维特征数据包括全身、上半身和下半身高维特征数据，因此，基于提取到的高维特征数据确定的行人检索结果可以保证全身、上半身和下半身同时相似，提高了检索的精度。

【技术实现步骤摘要】
一种行人检索方法及装置
本申请涉及视频监控领域，特别涉及一种行人检索方法及装置。
技术介绍
随着建设平安城市的需求越来越迫切，视频监控产品也越来越智能化。由于通过视频监控产品录制到的监控视频中往往包含大量的视频帧图像，且每张视频帧图像中又可能会包括多张行人图像，行人图像是指行人在视频帧图像中所占的图像区域，因此，通过视频监控产品录制监控视频之后，会获取到海量的行人图像。当用户需要从海量的行人图像中查找目标行人图像时，可以通过智能视频分析技术中的行人检索方法进行查找。由于视频监控产品录制监控视频之后，可能会将监控视频存储在自身的存储空间中以便于后续进行行人检索，当然，也有可能会存储在其他具有视频处理功能的设备中，为了便于说明，将执行行人检索方法的装置称为行人检索装置。相关技术中，行人检索装置可以通过词袋模型来进行行人检索，具体为：从海量的行人图像中提取大量的高维特征数据，并将提取到的高维特征数据进行聚类，从而将高维特征数据划分至多个子空间集合，并得到每个子空间集合的聚类中心。检索时，用户可以在行人检索装置中输入目标行人图像和指定查询条件，行人检索装置便可以对输入的目标行人图像进行高维特征数据提取，并计算该目标行人图像的高维特征数据与多个子空间集合的聚类中心之间的距离，从该多个子空间集合中选择与该目标行人图像的高维特征数据之间的距离最小的子空间集合，并根据选择的子空间集合包括的高维特征数据和指定查询条件确定行人检索结果，该行人检索结果可以为监控视频中目标行人的行人图像，也可以为包含有目标行人的视频帧图像或者视频片段等。在实际应用中，在视频监控场景下拍摄得到的海量行人图像，由于行人姿态、光照等因素的影响，同一个行人的多张行人图像之间的相似性可能较小，因此，从该多张行人图像中提取的高维特征数据往往不具有良好的聚类效果,从而导致行人检索的精度较低。
技术实现思路
为了解决现有技术中行人检索精度较低的问题，本专利技术实施例提供了一种行人检索方法及装置。所述技术方案如下：第一方面，提供了一种行人检索方法，所述方法包括：提取目标行人图像的第一特征数据、第二特征数据和第三特征数据，所述目标行人图像为待检索的行人的图像，所述第一特征数据包括所述目标行人图像的至少一个全身高维特征数据，所述第二特征数据包括所述目标行人图像的至少一个上半身高维特征数据，所述第三特征数据包括所述目标行人图像的至少一个下半身高维特征数据；基于所述第一特征数据、所述第二特征数据和所述第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，并通过所述目标特征数据集合确定行人检索结果，所述目标特征数据集合包括筛选出的与所述第一特征数据、所述第二特征数据和所述第三特征数据均匹配的行人图像的高维特征数据。其中，当接收到目标行人图像时，可以提取该目标行人图像的一种特征的全身高维特征数据、上半身高维特征数据和下半身高维特征数据，从而得到一个全身高维特征数据、包括一个上半身高维特征数据和一个下半身高维特征数据，当然，也可以提取该目标行人图像的多种特征的全身高维特征数据、上半身高维特征数据和下半身高维特征数据，从而得到包括有多个全身高维特征数据的第一特征数据、包括多个上半身高维特征数据的第二特征数据和包括多个下半身高维特征数据的第三特征数据。也即是，至少一个可以为一个，也可以为多个。其中，该目标行人图像的多种特征可以包括该目标图像的颜色特征、纹理特征和通过深度网络学习到的深度特征等。在本专利技术实施例中，由于提取的高维特征数据包括全身高维特征数据、上半身高维特征数据和下半身高维特征数据，因此，基于提取到的高维特征数据确定的行人检索结果可以保证全身、上半身和下半身同时相似，保证了检索的精度。另外，由于提取的高维特征数据可以包括目标行人图像多种特征的高维特征数据，因此，确定的行人检索结果与目标行人图像的多种特征均可以达到相似，进一步地提高了检索的精度。可选地，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，包括：确定所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值；基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值，对所述存储的高维特征数据进行筛选，得到所述目标特征数据集合，所述目标特征数据集合中包括的任一高维特征数据对应的局部敏感哈希值与所述第一特征数据、所述第二特征数据和所述第三特征数据中至少一个特征数据对应的局部敏感哈希值相同。需要说明的是，当提取到第一特征数据、第二特征数据和第三特征数据之后，可以根据第一特征数据、第二特征数据和第三特征数据分别对应的局部敏感哈希值对存储的高维特征数据进行筛选，从而得到目标特征数据集合，并根据目标特征数据集合确定行人检索结果。由于通过局部敏感哈希值对存储的高维特征数据进行了筛选，因此，过滤掉了高维特征数据中与目标行人图像不匹配的高维特征数据，这样，在获取目标特征数据集合时，可以减少特征数据加载时间，在前述保证精度的前提下，保证了检索效率。可选地，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值，对所述存储的高维特征数据进行筛选，得到所述目标特征数据集合，包括：确定所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的二进制码；从存储的全身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第一特征数据对应的局部敏感哈希值相同的表项，得到第一表项，所述全身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；从存储的上半身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第二特征数据对应的局部敏感哈希值相同的表项，得到第二表项，所述上半身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；从存储的下半身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第三特征数据对应的局部敏感哈希值相同的表项，得到第三表项，所述下半身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；基于所述第一表项中存储的多个特征数据标识，从存储的全身特征数据标识与二进制码之间的对应关系中，确定多个第一二进制码，基于所述第二表项中存储的多个特征数据标识，从存储的上半身特征数据标识与二进制码之间的对应关系中，确定多个第二二进制码，基于所述第三表项中存储的多个特征数据标识，从存储的下半身特征数据标识与二进制码之间的对应关系中，确定多个第三二进制码；基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的二进制码，以及所述多个第一二进制码、所述多个第二二进制码和所述多个第三二进制码，从所述存储的高维特征数据中确定所述目标特征数据集合。在本专利技术实施例中，不仅可以通过局部敏感哈希值对存储的高维特征数据进行筛选，还可以通过局部敏感哈希值和二进制码的结合对存储的高维特征数据进行两层筛选。由于两层筛选过滤掉了更多的噪声数据，因此，减少了获取目标特征数据集合时所需加载的数据量，提高了检索效率。可选地，所述基于所述第一特征数据、所述第二特征数据本文档来自技高网...

【技术保护点】
1.一种行人检索方法，其特征在于，所述方法包括：提取目标行人图像的第一特征数据、第二特征数据和第三特征数据，所述目标行人图像为待检索的行人的图像，所述第一特征数据包括所述目标行人图像的至少一个全身高维特征数据，所述第二特征数据包括所述目标行人图像的至少一个上半身高维特征数据，所述第三特征数据包括所述目标行人图像的至少一个下半身高维特征数据；基于所述第一特征数据、所述第二特征数据和所述第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，并通过所述目标特征数据集合确定行人检索结果，所述目标特征数据集合包括筛选出的与所述第一特征数据、所述第二特征数据和所述第三特征数据均匹配的行人图像的高维特征数据。

【技术特征摘要】
1.一种行人检索方法，其特征在于，所述方法包括：提取目标行人图像的第一特征数据、第二特征数据和第三特征数据，所述目标行人图像为待检索的行人的图像，所述第一特征数据包括所述目标行人图像的至少一个全身高维特征数据，所述第二特征数据包括所述目标行人图像的至少一个上半身高维特征数据，所述第三特征数据包括所述目标行人图像的至少一个下半身高维特征数据；基于所述第一特征数据、所述第二特征数据和所述第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，并通过所述目标特征数据集合确定行人检索结果，所述目标特征数据集合包括筛选出的与所述第一特征数据、所述第二特征数据和所述第三特征数据均匹配的行人图像的高维特征数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据，对存储的高维特征数据进行筛选，得到目标特征数据集合，包括：确定所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值；基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值，对所述存储的高维特征数据进行筛选，得到所述目标特征数据集合，所述目标特征数据集合中包括的任一高维特征数据对应的局部敏感哈希值与所述第一特征数据、所述第二特征数据和所述第三特征数据中至少一个特征数据对应的局部敏感哈希值相同。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值，对所述存储的高维特征数据进行筛选，得到所述目标特征数据集合，包括：确定所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的二进制码；从存储的全身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第一特征数据对应的局部敏感哈希值相同的表项，得到第一表项，所述全身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；从存储的上半身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第二特征数据对应的局部敏感哈希值相同的表项，得到第二表项，所述上半身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；从存储的下半身局部敏感哈希表包括的多个表项中，选择对应的局部敏感哈希值与所述第三特征数据对应的局部敏感哈希值相同的表项，得到第三表项，所述下半身局部敏感哈希表包括的多个表项与多个局部敏感哈希值一一对应，且每个表项中存储多个特征数据标识；基于所述第一表项中存储的多个特征数据标识，从存储的全身特征数据标识与二进制码之间的对应关系中，确定多个第一二进制码，基于所述第二表项中存储的多个特征数据标识，从存储的上半身特征数据标识与二进制码之间的对应关系中，确定多个第二二进制码，基于所述第三表项中存储的多个特征数据标识，从存储的下半身特征数据标识与二进制码之间的对应关系中，确定多个第三二进制码；基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的二进制码，以及所述多个第一二进制码、所述多个第二二进制码和所述多个第三二进制码，从所述存储的高维特征数据中确定所述目标特征数据集合。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的二进制码，以及所述多个第一二进制码、所述多个第二二进制码和所述多个第三二进制码，从所述存储的高维特征数据中确定所述目标特征数据集合，包括：确定所述第一特征数据对应的二进制码与所述多个第一二进制码之间的海明距离，得到多个第一海明距离，生成第一特征数据标识集合，所述第一特征数据标识集合包括用于确定所述多个第一海明距离中小于第一阈值的海明距离的第一二进制码对应的特征数据标识；确定所述第二特征数据对应的二进制码与所述多个第二二进制码之间的海明距离，得到多个第二海明距离，生成第二特征数据标识集合，所述第二特征数据标识集合包括用于确定所述多个第二海明距离中小于第二阈值的海明距离的第二二进制码对应的特征数据标识；确定所述第三特征数据对应的二进制码与所述多个第三二进制码之间的海明距离，得到多个第三海明距离，生成第三特征数据标识集合，所述第三特征数据标识集合包括用于确定所述多个第三海明距离中小于第三阈值的海明距离的第三二进制码对应的特征数据标识；对所述第一特征数据标识集合、所述第二特征数据标识集合和所述第三特征数据标识集合中相同的特征数据标识去重，得到第四特征数据标识集合，其中，同一行人图像的全身高维特征数据、上半身高维特征数据和下半身高维特征数据的特征数据标识相同；基于所述第四特征数据标识集合中的每个特征数据标识，从所述存储的高维特征数据中获取对应的全身高维特征数据、上半身高维特征数据和下半身高维特征数据，得到所述目标特征数据集合。5.根据权利要求1-4任一所述的方法，其特征在于，所述通过所述目标特征数据集合确定行人检索结果，包括：确定所述第一特征数据、所述第二特征数据和所述第三特征数据分别与所述目标特征数据集合中同一特征数据标识对应的全身高维特征数据、上半身高维特征数据和下半身高维特征数据之间的卡方距离，得到多个全身距离、多个上半身距离和多个下半身距离；将所述多个全身距离、所述多个上半身距离和所述多个下半身距离中，属于同一特征数据标识对应的全身距离、上半身距离和下半身距离按照预设权重加权运算，得到所述目标特征数据集合包括的高维特征数据所属的每个特征数据标识对应的加权距离；基于存储的行人标识与特征数据标识之间的对应关系，从所述目标特征数据集合包括的高维特征数据所属的特征数据标识中选择属于同一行人标识的特征数据标识，得到多组特征数据标识，每组特征数据标识对应同一行人标识；从所述多组特征数据标识中的每组特征数据标识对应的加权距离中选择最小的加权距离，得到多个最小加权距离，并对所述多个最小加权距离进行排序，得到排序结果；基于所述多个最小加权距离对应的特征数据标识，确定所述行人检索结果，并基于所述排序结果，显示所述行人检索结果。6.根据权利要求3-4任一所述的方法，其特征在于，所述基于所述第一特征数据、所述第二特征数据和所述第三特征数据分别对应的局部敏感哈希值，对所述存储的高维特征数据进行筛选，得到所述目标特征数据集合之前，还包括：获取监控视频包含的视频帧图像中的行人图像，得到多个行人图像；对于所述多个行人图像中的每个行人图像，分别提取所述行人图像的第四特征数据、第五特征数据和第六特征数据，所述第四特征数据包括所述行人图像的至少一个全身高维特征数据，所述第五特征数据包括所述行人图像的至少一个上半身高维特征数据，所述第六特征数据包括所述行人图像的至少一个下半身高维特征数据；确定所述第四特征数据、所述第五特征数据和所述第六特征数据分别对应的局部敏感哈希值和二进制码；为所述多个行人图像中每个行人图像的高维特征数据分配特征数据标识，且同一行人图像的全身高维特征数据、上半身高维特征数据和下半身高维特征数据的特征数据标识相同；基于每个行人图像的高维特征数据的特征数据标识以及所述第四特征数据、所述第五特征数据和所述第六特征数据分别对应的局部敏感哈希值和二进制码，创建所述全身局部敏感哈希表、所述上半身局部敏感哈希表和所述下半身局部敏感哈希表以及所述全身特征数据标识与二进制码之间的对应关系、所述上半身特征数据标识与二进制码之间的对应关系和所述下半身特征数据标识与二进制码之间的对应关系。7.根据权利要求6所述的方法，其特征在于，所述基于每个行人图像的高维特征数据的特征数据标识以及所述第四特征数据、所述第五特征数据和所述第六特征数据分别对应的局部敏感哈希值和二进制码，创建所述全身局部敏感哈希表、所述上半身局部敏感哈希表和所述下半身局部敏感哈希表以及所述全身特征数据标识与二进制码之间的对应关系、所述上半身特征数据标识与二进制码之间对应关系和所述下半身特征数据标识与二进制码之间的对应关系，包括：将所述多个行人图像的第四特征数据划分为多组，且每组第四特征数据对应的局部敏感哈希值相同，并将同一组第四特征数据的特征数据标识存储在同一个表项中，以创建得到包括多个表项的所述全身局部敏感哈希表，将所述多个行人图像的第五特征数据划分为多组，且每组第五特征数据对应的局部敏感哈希值相同，并将同一组第五特征数据的特征数据标识存储在同一个表项中，以创建得到包括多个表项的所述上半身局部敏感哈希表，将所述多个行人图像的第六特征数据划分为多组，且每组第六特征数据对应的局部敏感哈希值相同，并将同一组第六特征数据的特征数据标识存储在同一个表项中，以创建得到包括多个表项的所述下半身局部敏感哈希表；将所述多个行人图像的第四特征数据的特征数据标识和对应的二进制码对应存储，以创建...

【专利技术属性】
技术研发人员：张伟，陈茂林，白博，牟宪波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44