视频检索装置、视频检索方法和存储介质制造方法及图纸

本发明专利技术提供一种具有高准确性的视频检索装置、视频检索方法和存储介质，属于视频检索领域。其包括：获取目标人物和候选人物的图像的人物获取部(901、902)；对目标人物和候选人物按相同的分割部位进行人物分割的人物分割部(903)；对目标人物和候选人物各自的各分割部位提取特征的特征提取部(904)；对目标人物与候选人物按每个分割部位计算特征距离来求得局部相似性的局部相似性计算部(905)；针对候选人物的每个分割部位计算权重的权重计算部(906)；和基于权重计算部计算出的权重和局部相似性计算部计算出的局部相似性，输出目标人物与候选人物的相似性判断的结果的相似性结果输出部(1001)。

Video Retrieval Device, Video Retrieval Method and Storage Media

The invention provides a video retrieval device, a video retrieval method and a storage medium with high accuracy, belonging to the field of video retrieval. It includes: a person acquisition unit (901, 902) to obtain images of target and candidate characters; a person segmentation unit (903) to segment target and candidate characters according to the same segmentation parts; a feature extraction unit (904) to extract features from each segmentation part of target and candidate characters; and a feature distance calculation between target and candidate characters according to each segmentation part. The local similarity calculating unit (905), the weight calculating unit (906) for each segment of the candidate, and the local similarity calculating unit based on the weight calculating unit, output the similarity result output unit (1001) of the similarity judgment between the target and the candidate.

【技术实现步骤摘要】
视频检索装置、视频检索方法和存储介质
本专利技术涉及视频检索领域，具体而言涉及行人检索，尤其是从摄像机网络拍摄的视频中检索目标人物的技术。
技术介绍
近年来，行人检索(也称行人再识别(Pedestrianre-identification))成为了一个既具有研究价值同时又极具挑战性的热门课题。随着社会的需要，越来越多的由大型摄像机网络构成的监控系统被部署在了机场、购物中心、银行、车站、码头、校园、广场、写字楼、小区等公共空间，这些地理空间跨度大、视域不重叠的摄像机网络给人们提供了非常庞大的视频数据。通过对这样的视频数据利用视频检索装置进行分析，从中检索特定的目标人物——例如预先指定的曾经被某个摄像机拍摄到的某个人物或者输入到视频检索装置中的图像中的人物，能够了解该目标人物在哪个时刻出现在哪个摄像机的拍摄范围内，由此掌握目标人物的行动路线、当前位置等。行人检索本质上涉及的是图像的匹配，由于具有上述特点，在当前复杂的国内外环境下，对于刑侦和监控、安保，从人民日常生活到国防建设都具有非常巨大的应用前景，其技术的改进也倍受关注。在现有的视频检索技术中，通常基于人脸识别来进行行人检索，但由于摄像机设置角度、设置位置、物体的遮挡以及光线等的影响等，行人的脸部经常无法辨识或不能被摄像机拍摄到，无法进行有效的行人检索。专利文献1公开了一种基于双向排序的行人检索方法，用于提升多摄像机下同一行人匹配的准确性。具体而言，在专利文献1中的技术中，首先通过行人对象的特征提取和尺度学习对待测行人集进行初始排序，然后反向查询待测行人集中各行人，并计算待查询行人和待测行人的双向内容相似性和近邻相似性，最后，依据双向内容相似性和近邻相似性重排待测行人集中各待测行人。根据专利文献1，引入双向匹配的思想，通过内容和近邻相似性重排待测行人，可获得更准确的行人检索结果，且对于环境变化导致的行人外貌变化更鲁棒。另外，专利文献2针对传统基于视频图像化的行人检索技术存在过分依赖分类器区别行人和非行人运动前景进而进行特征匹配的问题，提出一种基于物联网进行行人检索的方法及系统。专利文献2公开的方法包括：获取关联场景下相机采集的视频流，分别利用边缘检测算法对视频流提取候选条纹线，并对符合条件的候选条纹线用水平线段或垂直线段进行逼近；进行条纹线密度判断，排除非行人干扰，得到加框行人位置；提取条纹服饰行人框内特征，建立特征库；根据关联场景下相机的前后位置关系，选定当前相机中待检索的条纹服饰行人，提取位置及特征，同之前相机中的一段时间范围内的特征库进行匹配排序，得到行人检索结果。根据专利文献2，同现有技术相比可以快速高效地识别出条纹服饰行人，更能满足公安交通执法的需求。不过，专利文献1将待查询行人p和待检测行人集G={gi|i＝1,…,n中的各个行人gi作为一个整体进行匹配，没有考虑到行人的不同部位因拍摄条件等原因而对匹配具有不同的重要性。并且，专利文献2仅面向条纹服饰行人的检索，应用场景非常受限。现有技术文献专利文献1：CN103325122A专利文献2：CN102663359A
技术实现思路
专利技术要解决的技术问题具体而言，在专利文献1的技术中，除了以往的度量待查询行人p和待测行人gi的相似性，将相似性按从大到小得到正向内容相似度之外，还构建包括待查询行人p和待检测行人集G中除gi外的行人对象的待测行人集并度量待测行人gi与待测行人集中各行人的相似性，按相似性从小到大得到反向相似度不过，专利文献1在度量相似性时，通过现有的尺度学习方法学习距离函数，利用获得的距离度量函数来度量相似性，因此相似性是待查询行人和待测行人彼此之间的整体的匹配结果，没有考虑到待查询行人的身体各部位对于检索具有不同的重要性这一点。专利文献2利用了物联网多相机所监控的关联信息(前后位置关系)进行行人检索，但由于其以检测条纹服饰行人为目标，故应用前景受限。由于摄像机网络中的各摄像机拍摄的视频、图片来自于各种环境且特点各异，如果目标人物虽然出现在视频中，但因有意或无意导致仅被拍摄到部分部位，或者部分部位没有被清晰地拍摄到，那么根据现有技术很可能无法正确地检测到目标人物，在准确性、效率方面有进一步提高的可能。为此，本专利技术的目的在于提供一种视频检索装置和视频检索方法，能够考虑到人物的身体各部位因拍摄条件等原因而对检索具有不同的重要性，提高视频检索的准确性。解决问题的技术方案本专利技术第一方面提供一种视频检索装置，从摄像机拍摄的视频数据中提取目标人物和候选人物中的至少任一者，度量该任一者与另一者之间的相似性，其特征在于，包括：获取目标人物的图像的目标人物获取部；获取候选人物的图像的候选人物获取部；对所述目标人物和所述候选人物按相同的分割部位进行人物分割的人物分割部；对所述目标人物和所述候选人物各自的各所述分割部位提取特征的特征提取部；对所述目标人物与所述候选人物按每个所述分割部位计算特征距离来求得局部相似性的局部相似性计算部；针对所述候选人物的每个所述分割部位计算权重的权重计算部；和基于所述权重计算部计算出的权重和所述局部相似性计算部计算出的局部相似性，输出所述目标人物与所述候选人物的相似性判断的结果的相似性结果输出部。根据该视频检索装置，由于将目标人物和候选人物分割成多个分割部位来进行特征匹配，按分割部位度量相似性，因此考虑到了人物的不同部位对相似性度量具有不同的重要性，与现有技术相比能够提高相似性度量乃至人物检索的准确性。本专利技术第二方面的视频检索装置的特征在于，在上述第一方面的视频检索装置中，所述权重计算部计算第一权重、第二权重和第三权重中的至少一个来决定所述权重，所述第一权重是基于所述分割部位位于人体的位置而决定的，所述第二权重是基于所述分割部位处的所述目标人物和所述候选人物的所述分割部位的图像的清晰程度而决定的，所述第三权重是基于所述目标人物和所述候选人物的所述分割部位的图像的显著性而决定的。其中，所述权重计算部通过机器学习的方法利用样本集针对各所述分割部位构建训练一个判断清晰程度的模型，将所述目标人物和所述候选人物的各所述分割部位的图像输入对应的所述模型，利用输出结果计算所述第二权重。根据该视频检索装置，由于考虑到了基于分割部位的位置的权重、基于清晰程度的权重和基于显著特征的权重这三者中的至少一者，所以能够更加准确地反映各分割部位的权重，与现有技术相比能够进一步提高相似性度量乃至人物检索的准确性。本专利技术第三方面提供一种视频检索方法，从摄像机拍摄的视频数据中提取目标人物和候选人物中的任一者，度量该任一者与另一者之间的相似性，其特征在于，包括：获取目标人物的图像的目标人物获取步骤；获取候选人物的图像的候选人物获取步骤；对所述目标人物和所述候选人物按相同的分割部位进行人物分割的人物分割步骤；对所述目标人物和所述候选人物各自的各所述分割部位提取特征的特征提取步骤；对所述目标人物与所述候选人物按每个所述分割部位计算特征距离来求得局部相似性的局部相似性计算步骤；针对所述候选人物的每个所述分割部位计算权重的权重计算步骤；和基于所述权重计算部计算出的权重和所述局部相似性计算部计算出的局部相似性，输出所述目标人物与所述候选人物的相似性判断的结果的相似性结果输出步骤。根据该视频检索方法，与上述第一方面的视本文档来自技高网...

【技术保护点】
1.一种视频检索装置，从摄像机拍摄的视频数据中提取目标人物和候选人物中的至少任一者，度量该任一者与另一者之间的相似性，其特征在于，包括：获取目标人物的图像的目标人物获取部；获取候选人物的图像的候选人物获取部；对所述目标人物和所述候选人物按相同的分割部位进行人物分割的人物分割部；对所述目标人物和所述候选人物各自的各所述分割部位提取特征的特征提取部；对所述目标人物与所述候选人物按每个所述分割部位计算特征距离来求得局部相似性的局部相似性计算部；针对所述候选人物的每个所述分割部位计算权重的权重计算部；和基于所述权重计算部计算出的权重和所述局部相似性计算部计算出的局部相似性，输出所述目标人物与所述候选人物的相似性判断的结果的相似性结果输出部。

【技术特征摘要】
1.一种视频检索装置，从摄像机拍摄的视频数据中提取目标人物和候选人物中的至少任一者，度量该任一者与另一者之间的相似性，其特征在于，包括：获取目标人物的图像的目标人物获取部；获取候选人物的图像的候选人物获取部；对所述目标人物和所述候选人物按相同的分割部位进行人物分割的人物分割部；对所述目标人物和所述候选人物各自的各所述分割部位提取特征的特征提取部；对所述目标人物与所述候选人物按每个所述分割部位计算特征距离来求得局部相似性的局部相似性计算部；针对所述候选人物的每个所述分割部位计算权重的权重计算部；和基于所述权重计算部计算出的权重和所述局部相似性计算部计算出的局部相似性，输出所述目标人物与所述候选人物的相似性判断的结果的相似性结果输出部。2.如权利要求1所述的视频检索装置，其特征在于：所述权重计算部计算第一权重、第二权重和第三权重中的至少一个来决定所述权重，所述第一权重是基于所述分割部位位于人体的位置而决定的，所述第二权重是基于所述目标人物和所述候选人物的所述分割部位的图像的清晰程度而决定的，所述第三权重是基于所述目标人物和所述候选人物的所述分割部位的图像的显著性而决定的。3.如权利要求2所述的视频检索装置，其特征在于：所述权重计算部通过机器学习的方法利用样本集针对各所述分割部位训练一个判断清晰程度的模型，将所述目标人物和所述候选人物的各所述分割部位的图像输入对应的所述模型，利用输出结果计算所述第二权重。4.如权利要求1～3中任一项所述的视频检索装置，其特征在于：所述候选人物是从人物数据库中获取的多个人物，所述目标人物是从所述视频数据中提取的人物，所述相似性结果输出部包括局部相似性排序部、整体排序值计算部，所述局部相似性排序部按每个所述分割部位对所述局部相似性计算部计算出的局部相似性进行排序从而赋予局部排序值，所述整体排序值计算部对每个所述候选人物基于每个所述分割部位的所述局部排序值和所述权重计算该候选人物的整体排序值，所述相似性结果输出部输出所述整体排序值最大的所述候选人物。5.如权利要求1～3中任一项所述的视频检索装置，其特征在于：所述候选人物是从所述视频数据中提取的人物，所述目标人物是所述视频检索装置的用户指定的人物，所述相似性结果输出部包括整体相似性计算部，所述整体相似性计算部基于所述局部相似性计算部计算出的每个分割部位的局部相似性和所述权重计算部计算出的权重，计算候选人物与目标人物的整体相似性，所述相似性结果输出部根据所述整体相似性与规定的阈值的关系，输出所述候选人物与所述目标人物的相似程度。6.一种视频检索方法，从摄像机拍摄的视频数据中提取目标人物和候选人物中的任一者，度量该任一者与...

【专利技术属性】
技术研发人员：张杨，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP