迭代视频图片检索方法与装置制造方法及图纸

本发明专利技术提供一种迭代视频图片检索方法与装置。在迭代视频图片检索方法中，采用了迭代检索引擎，可以使用多次迭代的方法，来逐步覆盖所有可能的正确检索结果。在每一层的迭代检索步骤中，选择和记录合适的候选特征向量作为中间的结果，之后在下一层的迭代中以中间特征向量为起点，进一步进行迭代检索步骤。通过这样的方法，可以有效地降低大规模视频监控系统中的各种干扰对于检索结果的负面影响，提升检索精度，提高视频检索对大规模监控业务的支撑能力。

【技术实现步骤摘要】

本专利技术涉及一种迭代视频图片检索方法与装置，更具体而言，涉及一种大规模视频监控系统中的迭代视频图片检索方法与装置。
技术介绍
视频监控系统在社会安防方面得到了广泛的应用。在各个城市，每年均有数十万摄像头被部署。中国现有的城市大规模监控系统当中，大量监控设备已经有所部署，包括摄像头、编解码设备、数字视频录像机、存储和回放系统等等。其中，相当一部分的摄像头均符合720P或者1080P高清标准。每天在视频监控系统运行的过程中，会产生大量的视频数据，同时视频监控系统的运营要求将这些视频数据保留3个月到1年不等的时间。这些积累的视频数据，不仅占用非常大的存储空间和网络带宽，而且对于视频内容并没有有效的分析和组织。当需要在海量视频内容中查找所需的目标物体的时候(如人脸，车，不明行李等等)，需要操作人员花费大量的时间，进行人工观看排查。这样做不仅会耗费大量的人力和时间，也会使查找的精度降低很多。更重要的是，在公共安全领域，案件发生后的线索追查时间非常宝贵，如果可以利用信息技术显著提高视频监控内容的排查速度，这对于公民安全和社会稳定都具有非常重要的意义。近些年来，一些大规模的视频分析和检索系统逐渐被采纳使用。此类系统对视频内容进行实时或者在线的分析，并将分析后得到的对应敏感特征(比如说人脸、车辆等)的描述(一般为特征向量)存储在数据库当中。当用户需要针对某个敏感特征进行排查的时候，可以将敏感特征输入到数据库当中，进行比对排查，从而可以快速定位这些敏感特征或者目标物体在海量视频内容里出现的情况。这样做，一方面可以大大提高海量视频内容中查找目标物体所需的时间，节省了人力和物力；另一方面，可以避免由于人员疲劳而带来的查找精度降低的情况。在基于内容的视频检索的过程中，一般将目标物体的特征描述向量与海量视频内容所对应的特征数据中的特征向量进行比对，计算特征向量之间的相似度(一般是特征向量之间的差别)，最后将检索的结果集按照相似度由高到低(特征向量的差别由小到大)的顺序展现给用户终端。在小规模视频监控应用系统中，以上的方法已经可以支持高速高精度的视频检索。然而，在大规模视频监控应用系统中，简单采用这样的检索方法会造成检索精度的降低。主要原因是大量的视频内容中，同样的目标物体或者敏感特征在不同的摄像头、不同地点、不同时间出现时，展现出的特征向量有些许差别。由于光照、角度、环境等多方面的影响，其他非该目标物体的特征向量可能会展现更好的相似度。同时，目标物体可能在某个时间和地点集中长时出现，这样可能在单次检索中集中展现在用户界面上，而该目标物体在其他时间和地点的出现情况没有得到有效展现。因此，需要针对大规模视频监控场景，对视频检索进行优化和提升。之前的一些工作已经涉及到这方面的内容。在专利文献1中描述了一种大规模视频检索的架构设计。在这套架构中，重点强调如何使用并行计算来加速检索的流程，然而如何解决大规模视频监控系统中的视频检索精度的问题，没有有效的手段。在专利文献2中描述了一种利用文本标注和基于内容的特征进行视频检索的方法。这种方法简单地使用文本标注和对比结合基于内容的视频检索在一起，提高检索精度。但是，在大规模视频监控系统中，全面的文本标注是不可能完成的事情。同时，相当多的目标物体和敏感特征无法用文本来表征。在专利文献3中提出了一种多资源的视频元数据检索及相关的业务框架。在这里，更多的提及如何使用多种标注信息来进行视频检索的业务和方法，并没有提及如何来提升基于内容的视频检索的精度。在大规模视频监控系统中，这种方法无法保证高精度的检索结果。在专利文献4中提出了一种支持视频内容检索的设备。在该设备中，可以将视频和音频的内容进行混合检索，从而提高精度。但是，如何在大规模视频监控系统中，仅适用视频内容的检索来提高精度并没有有效手段。现有技术文献专利文献专利文献1：美国专利US2014/0164406A1专利文献2：专利WO2014/082288专利文献3：美国专利US2013/0326573A1专利文献4：美国专利US2014/0188834
技术实现思路
本专利技术鉴于上述问题而研发，目的在于提出一种迭代视频图片检索方法与装置，可以在大规模视频监控系统中，有效排除相关的干扰，提升检索的精度。本专利技术的一个方面涉及一种迭代视频图片检索方法，其特征在于，通过多次迭代来得到检索结果，包括：迭代策略设定步骤，设定迭代深度、每层迭代的检索线索数目；检索线索输入步骤，根据由所述迭代策略设定步骤设定的所述检索线索数目，从用户侧输入进行首次检索用的用于描述目标物体的特征的特征向量，作为检索线索集；检索步骤，记录检索起点，并将检索线索集中的各个检索线索的特征向量发送给检索服务器进行检索；输出步骤，从所述检索服务器接收检索结果的特征向量集，并将其输出到用户侧；迭代深度判断步骤，判断当前检索步骤是否已经达到了由所述迭代策略设定步骤所设定的迭代深度；中间结果确定步骤，在所述迭代深度判断步骤中判断为未达到所设定的迭代深度的情况下，根据由所述迭代策略设定步骤设定的所述检索线索数目，查询迭代记录库，选择确定下一步迭代检索用的检索线索集，执行所述检索步骤；迭代记录库更新步骤，在所述迭代深度判断步骤中判断为已经达到了所设定的迭代深度的情况下，在用户完成检索结果的标注后记录到迭代记录库；迭代进度判断步骤，判断各步迭代的检索步骤中是否已经完成检索线索集中的所有检索线索的检索；检索线索更新步骤，在由所述迭代进度判断步骤判断为未完成检索线索集中的所有检索线索的检索的情况下，将检索树上最近的一个未完成的检索线索，作为下次迭代检索的检索线索，执行所述检索步骤；以及结束步骤，在由所述迭代进度判断步骤判断为完成了检索线索集中的所有检索线索的检索的情况下，结束迭代视频图片检索处理。另外，在本专利技术中优选：在所述中间结果确定步骤中，在查询迭代记录库从而选择确定了下一步迭代检索用的检索线索集之后，将所选择的下一步迭代检索用的检索线索集输出到用户侧，并且利用用户选择的下一步迭代检索用的检索线索集，执行所述检索步骤。另外，在本专利技术中优选：对于检索线索集中的检索线索，按照先序、中序或者后序的顺序在迭代树上的下一个检索线索开始执行所述检索步骤。另外，在本专利技术中优选：将目标物体的特征向量与海量视频内容...

【技术保护点】
一种迭代视频图片检索方法，其特征在于，通过多次迭代来得到检索结果，包括：迭代策略设定步骤，设定迭代深度、每层迭代的检索线索数目；检索线索输入步骤，根据由所述迭代策略设定步骤设定的所述检索线索数目，从用户侧输入进行首次检索用的用于描述目标物体的特征的特征向量，作为检索线索集；检索步骤，记录检索起点，并将检索线索集中的各个检索线索的特征向量发送给检索服务器进行检索；输出步骤，从所述检索服务器接收检索结果的特征向量集，并将其输出到用户侧；迭代深度判断步骤，判断当前检索步骤是否已经达到了由所述迭代策略设定步骤所设定的迭代深度；中间结果确定步骤，在所述迭代深度判断步骤中判断为未达到所设定的迭代深度的情况下，根据由所述迭代策略设定步骤设定的所述检索线索数目，查询迭代记录库，选择确定下一步迭代检索用的检索线索集，执行所述检索步骤；迭代记录库更新步骤，在所述迭代深度判断步骤中判断为已经达到了所设定的迭代深度的情况下，在用户完成检索结果的标注后记录到迭代记录库；迭代进度判断步骤，判断各步迭代的检索步骤中是否已经完成检索线索集中的所有检索线索的检索；检索线索更新步骤，在由所述迭代进度判断步骤判断为未完成检索线索集中的所有检索线索的检索的情况下，将检索树上最近的一个未完成的检索线索，作为下次迭代检索的检索线索，执行所述检索步骤；以及结束步骤，在由所述迭代进度判断步骤判断为完成了检索线索集中的所有检索线索的检索的情况下，结束迭代视频图片检索处理。...

【技术特征摘要】
1.一种迭代视频图片检索方法，其特征在于，通过多次迭代来
得到检索结果，包括：
迭代策略设定步骤，设定迭代深度、每层迭代的检索线索数目；
检索线索输入步骤，根据由所述迭代策略设定步骤设定的所述检
索线索数目，从用户侧输入进行首次检索用的用于描述目标物体的特
征的特征向量，作为检索线索集；
检索步骤，记录检索起点，并将检索线索集中的各个检索线索的
特征向量发送给检索服务器进行检索；
输出步骤，从所述检索服务器接收检索结果的特征向量集，并将
其输出到用户侧；
迭代深度判断步骤，判断当前检索步骤是否已经达到了由所述迭
代策略设定步骤所设定的迭代深度；
中间结果确定步骤，在所述迭代深度判断步骤中判断为未达到所
设定的迭代深度的情况下，根据由所述迭代策略设定步骤设定的所述
检索线索数目，查询迭代记录库，选择确定下一步迭代检索用的检索
线索集，执行所述检索步骤；
迭代记录库更新步骤，在所述迭代深度判断步骤中判断为已经达
到了所设定的迭代深度的情况下，在用户完成检索结果的标注后记录
到迭代记录库；
迭代进度判断步骤，判断各步迭代的检索步骤中是否已经完成检
索线索集中的所有检索线索的检索；
检索线索更新步骤，在由所述迭代进度判断步骤判断为未完成检
索线索集中的所有检索线索的检索的情况下，将检索树上最近的一个
未完成的检索线索，作为下次迭代检索的检索线索，执行所述检索步
骤；以及
结束步骤，在由所述迭代进度判断步骤判断为完成了检索线索集
中的所有检索线索的检索的情况下，结束迭代视频图片检索处理。
2.根据权利要求1所述的迭代视频图片检索方法，其特征在于，
在所述中间结果确定步骤中，在查询迭代记录库从而选择确定了
下一步迭代检索用的检索线索集之后，将所选择的下一步迭代检索用
的检索线索集输出到用户侧，并且利用用户选择的下一步迭代检索用
的检索线索集，执行所述检索步骤。
3.根据权利要求2所述的迭代视频图片检索方法，其特征在于，
对于检索线索集中的检索线索，按照先序、中序或者后序的顺序
在迭代树上的下一个检索线索开始执行所述检索步骤。
4.根据权利要求1所述的迭代视频图片检索方法，其特征在于，
将目标物体的特征向量与海量视频内容所对应的特征数据中的
特征向量进行比对，计算特征向量之间的相似...

【专利技术属性】
技术研发人员：杨鹏，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP