一种基于聚类过滤的特征检索系统及其应用方法技术方案

技术编号:24456413 阅读:34 留言:0更新日期:2020-06-10 15:40
本发明专利技术属于视频侦查技术领域,具体涉及一种基于聚类过滤的特征检索系统及其应用方法,本发明专利技术通过应用成熟的目标聚类算法,如人员聚类、车辆聚类等,把海量的目标特征库进行特征分组。在进行特征检索时按照聚类的类别进行目标特征过滤,减少不必要的特征内存访问,提高特征检索效率。其次通过目标特征检索的分布式系统,解决海量特征数据加载慢、特征数据不一致以及目标特征重新聚类等一系列问题。

A feature retrieval system based on clustering filtering and its application method

【技术实现步骤摘要】
一种基于聚类过滤的特征检索系统及其应用方法
本专利技术属于视频侦查
,具体涉及一种基于聚类过滤的特征检索系统及其应用方法。
技术介绍
目前,随着深度学习在视频识别领域的广泛应用,视频识别技术取得了很大的进步,比如人脸识别、车牌识别的准确率都高达99%以上,因此政府、公安、金融等行业越来越多地应用人脸识别、行人再识别以及车牌识别等技术,视频识别领域的人工智能市场也越来越活跃。特别地,随着近年来大量平安城市、智慧城市项目的相继落地,也产生了海量的视频结构化特征数据,为后续的特征检索提供了数据基础。其中如何快速地在海量的视频结构化数据中找到视频中出现的相关目标已经成为安防领域急需解决的问题。现有技术方案1:采用开源的ElasticSearch搜索引擎,考虑使用检索条件过滤特征数据后形成目标特征库,再用待搜索的特征跟特征库做1:N检索。主要流程如下:把经过预处理的结构化特征数据存储在ElasticSearchNode,存储信息包括时间戳、摄像机通道,其中ElasticSearchCluster保证Node节点的特征数据均衡;设有E本文档来自技高网...

【技术保护点】
1.一种基于聚类过滤的特征检索系统,其特征在于,包括检索集群,检索集群中设有Master和若干Slave节点,所述Master用于提供特征检索请求的分发与汇总Slave节点返回的TopN结果;所述Slave节点用于提供特征检索服务;所述Slave节点还设有内存数据库,所述内存数据库用于对目标特征数据以聚类ID(ClusterID)进行分组存储;所述目标特征数据包括从备份文件中加载的历史特征数据和从分布式数据库中加载的新增实时特征数据;/n所述特征检索系统还包括备份服务,用于对分布式数据库的抓拍特征数据进行备份,备份文件存储在网络共享磁盘中,且以天为单位进行抓拍特征数据备份;/n所述特征检索系统...

【技术特征摘要】
1.一种基于聚类过滤的特征检索系统,其特征在于,包括检索集群,检索集群中设有Master和若干Slave节点,所述Master用于提供特征检索请求的分发与汇总Slave节点返回的TopN结果;所述Slave节点用于提供特征检索服务;所述Slave节点还设有内存数据库,所述内存数据库用于对目标特征数据以聚类ID(ClusterID)进行分组存储;所述目标特征数据包括从备份文件中加载的历史特征数据和从分布式数据库中加载的新增实时特征数据;
所述特征检索系统还包括备份服务,用于对分布式数据库的抓拍特征数据进行备份,备份文件存储在网络共享磁盘中,且以天为单位进行抓拍特征数据备份;
所述特征检索系统还包括与分布式数据库连接的聚类服务,用于对目标特征数据进行分组,当分布式数据库的抓拍特征数据数量超过阈值,启动重新聚类功能,重新计算目标特征数据的聚类ID。


2.根据权利要求1所述的一种基于聚类过滤的特征检索系统,其特征在于,所述的特征检索系统至少包括对人脸特征、车辆特征与行人特征的检索。


3.根据权利要求1所述的一种基于聚类过滤的特征检索系统,其特征在于,所述的Master还用于动态增加或删除Slave节点。


4.根据权利要求3所述的一种基于聚类过滤的特征检索系统,其特征在于,当新增Slave节点时,所述的Master将其他Slave节点的部分目标特征数据分配给新增的Slave节点。


5.根据权利要求4所述的一种基于聚类过滤的特征检索系统,其特征在于,当删除Slave节点时,所述的Master将下线的Slave节点的目标特征数据分配其他Slave节点,保证内存数据库中的目标特征数据的完整性。


6.根据权利要求5所述的一种基于聚类过滤的特征检索系统,其特征在于,所述备份服务完成历史特征数据的重新备份后,通知全部的Slave节点重新加载目标特征数据。


7.一种基于权利要求1所述的特征检索系统的应用方法,其特征在于,所述应用方法包括内存特征管理方法和目标特征检索方法;其中,所述的内存特征管理方法包括如下步骤:
S101:Master根据Slave节点的数量,动态分配Slave需要加载的特征范围;
S102:Slave节点从备份文件中加载历史特征数据库,并根据本节点所属范围进行特征过滤,再从分布式数据库中定时增量查询新增的实时特征数据;
S103:当有...

【专利技术属性】
技术研发人员:关喜记黄松钦董振江江盛欣劳定雄汪刚刘双广
申请(专利权)人:高新兴科技集团股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1