影像分析装置、人物检索系统和人物检索方法制造方法及图纸

本发明专利技术的目的在于提供一种影像分析装置，其能根据来自多个摄像机的影像准确地进行确定人物的匹配或对被指定为可疑人物的人物的检索。该影像分析装置能够与具有多个摄像机的拍摄装置连接，对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。

【技术实现步骤摘要】
【国外来华专利技术】影像分析装置、人物检索系统和人物检索方法
本专利技术涉及一种用于从影像中检索或追踪特定人物的技术。
技术介绍
随着监视摄像机的设置场所的扩大，越来越需要从监视摄像机影像寻找特定的人物。作为检索人物的目的，例如当发现了感兴趣的人物时，要确认该人物的过去的行动或追踪并监视随后的行动。作为即使在不能总是检测到人物的面部正面时也能正确地追踪人物并检测出场人物的技术，可列举专利文献1。在专利文献1中公开了一种方法，其中检测从影像连续检测到的面部影像的面部尺寸的变化量，如果该变化量是连续的，则判断该人物是同一人物，将适合于保存的面部影像作为最佳图像(最佳镜头)保存在存储介质中，将所保存的信息作为检索关键字来进行人物检索。现有技术文献专利文献专利文献1：日本特开2007-006324号公报
技术实现思路
专利技术要解决的课题在专利文献1的技术中，由于作为最佳图像仅关注面部，因此如果没有仅由面部就能充分识别的最佳图像，则认为难以进行人物检索。此外，当试图通过使用多个摄像机来追踪人物时，存在在其他摄像机中没拍摄到面部的情况，因而认为不能由其他摄像机进行追踪。此外，当例如在机场检查行李等不仅要检索人物而且由于行李的危险性也要检索人物时，不能关注该行李并进行追踪。因此，本专利技术的目的是提供一种能够通过获取较好地示出人物的特征的大量信息来检索同一人物的技术。本专利技术的另一个目的是提供一种能够从多个摄像机的影像中正确地关联特定人物并检索被指定为需要关注的人物的技术。用于解决课题的技术方案为了解决上述问题，本专利技术的影像分析装置，例如能够与具有多个摄像机的拍摄装置连接，对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。此外，为了解决上述问题，本专利技术的人物检索系统例如包括：能够与具有多个摄像机的拍摄装置连接的影像分析装置、以及具有显示部和输入部的工作终端，影像分析装置对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。专利技术效果根据本专利技术，能够从多个帧图像中选择代表人物的多个部分的特征的最佳图像，掌握最佳图像的特征量，从而能够高精度地检索或追踪同一人物。附图说明图1是示出人物检索系统的一例的构成图。图2是示出影像分析装置的构成的一例的图。图3是示出了最佳图像定义表的一例的图。图4是示出最佳图像摄像机表的一例的图。图5是示出最佳图像合并表的一例的图。图6是示出部分DB的一例的图。图7是示出获取最佳图像的一例的图。图8是示出帧图像DB216的一例的图。图9是示出根据摄像机的影像来确定二维平面上的人物位置的方法的图。图10是示出部分的模板的一例的图。图11是示出工作终端PC4的构成图的一例的图。图12是示出最佳图像部分的获取的一例的流程图。图13是示出指定人物的影像的检索处理的一例的图。图14是示出用于显示作为警惕对象的人物的最新信息的处理的一例的流程图。具体实施方式实施例1<整体结构>首先，将参考附图说明本专利技术的第一实施方式。图1是示出人物检索系统的一例的构成图。在图1中，人物检索系统包括：由拍摄装置、行李检索装置等构成的输入装置1；连接各输入装置1和各PC(个人计算机)的互联网或内联网等的网络2；用于分析所输入或存储的影像的内容的影像分析装置(以下称为影像分析PC)3；用于人物检索的指示、人物检索结果的显示和警报等的工作终端PC4。输入装置1包括：为监视各据点的整体而设置的监视摄像机等多个拍摄装置(摄像机)11；用于检查包和/或携带物品中是否含有危险物的X射线行李检查装置(称为X射线检查装置)12；对X射线检查装置12的内部或装置附近等搬运行李的位置的行李外观进行拍摄的行李外观拍摄摄像机(称为行李外观摄像机)13。也可以将这些装置设置在多个据点，并在多个据点之间共享使用影像等。此外，对于这些输入装置1，不需要在所有据点都设置所有类型的装置，而仅设置所需类型的装置即可。行李外观摄像机13设置在X射线检查装置12的内部或周边，当在X射线检查装置12拍摄到的X射线图像中包含危险物品或需要确认的行李的情况下自动或手动地指定了行李时，将拍摄该行李的外观。它也可以设置在没有X射线检查装置的地方，例如在机场接收托运行李的转盘。只要能够拍摄行李的外观，也可以使用其他手段进行拍摄。接下来，将参考图2说明影像分析PC3。图2是示出影像分析PC的构成的一例的图。对由摄像机11拍摄到的影像进行分析并从各摄像机11获取而存储各人物的最佳图像的影像分析PC3，由包括CPU201、主内存202、输入部203、显示部204、通信部205和存储部210的计算机构成。在存储部210保存有：OS211、最佳图像定义表212、最佳图像摄像机表213、最佳图像合并表214、部分DB215、帧图像DB216、影像获取程序217、人物追踪程序218、人物位置确定程序219、部分区域检测程序220、最佳图像判断程序221、摄像机表更新程序222、合并表更新程序223和人物检索程序224。保存在这些存储部210中的各种程序(217～224)被读入主内存202，并由CPU201执行以实现各种功能。图3示出了最佳图像定义表212的一例。在最佳图像定义表212中登记定义得分的信息，该得分用于决定人物的头部、面部、侧脸、服装和包等的各部分的最佳图像。最佳图像定义表的项目得分按用于各种部分类型的面积S31、正面性(frontality)D32和几何特征数N等各项目(31～35)来定义得分。例如，在部分为面部的情况下，通过使用面部面积S31、作为面部正面性的部分的正面性32和示出检测出面部时的面部相似度的检测可靠性35，对它们所使用的项目的得分(项目得分)的值相加，来计算面部的得分。这种面部得分成为：用于与不同时间的其他图像的同一人物的面部得分进行比较、以选择得分较高的图像作为最佳图像的信息。对于穿在身上的服装和包等人造物品，由于图案等代表各自的特征的几何特征33以及示出鲜明/清晰度的亮度值34等也成为对于确定各部分的最佳拍拍摄响很大的因素，所以也可以包含这些项目。例如，在判断头部的最佳图本文档来自技高网...

【技术保护点】
1.一种能够与具有多个摄像机的拍摄装置连接的影像分析装置，其特征在于：/n所述影像分析装置，/n对于由所述摄像机拍摄到的多个人物，/n追踪所述多个人物中的至少一个人物，/n检测被追踪的所述人物的多个部分，/n对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，/n按所述各部分比较对所述每一帧计算出的各部分的得分，来确定所述各部分的最佳图像，/n将所述各部分与该部分的特征量对应地进行存储，/n通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。/n

【技术特征摘要】
【国外来华专利技术】20180718 JP 2018-1346071.一种能够与具有多个摄像机的拍摄装置连接的影像分析装置，其特征在于：
所述影像分析装置，
对于由所述摄像机拍摄到的多个人物，
追踪所述多个人物中的至少一个人物，
检测被追踪的所述人物的多个部分，
对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，
按所述各部分比较对所述每一帧计算出的各部分的得分，来确定所述各部分的最佳图像，
将所述各部分与该部分的特征量对应地进行存储，
通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。


2.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置将所述人物的头部、面部、服装、包、鞋、帽子和手表中的至少两个类别作为所述多个部分进行检测。


3.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置针对所述多个部分中的每一个部分选择面积、正面性、几何特征、亮度值和检测可靠性的项目，使用对选择出的各个所述项目定义的项目得分来计算所述各部分的得分。


4.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置具有存储部，
所述存储部能够存储将所述各部分与该部分的特征量建立了对应关系的部分DB，
所述部分DB，对于所述多个部分中的任一个部分，将表示部分的类别的部分类别以及该部分的特征量和该部分的得分与该部分的部分ID对应地进行存储。


5.根据权利要求4所述的影像分析装置，其特征在于：
所述存储部，对于由所述多个摄像机中的任一个摄像机拍摄到的人物的一条人物轨迹，存储将对应于所述人物轨迹的人物轨迹ID与所述人物轨迹的多个部分的所述部分ID建立了对应关系的最佳图像摄像机表。


6.根据权利要求5所述的影像分析装置，其特征在于：
所述存储部，在由所述多个摄像机拍摄到的多个人物的人物轨迹是同一个人物的轨迹时，存储用于管理各部分中的得分较高的部分的部分ID的最佳图像合并表。


7.一种包括具有多个摄像机的拍摄装置和影像分析装置的人物检索系统，其特征在于：
所述影像分析装置，
对于由所述摄像机拍摄到的多个人物，
追踪所述多个人物中的至少一个人物，
检测被追踪的所述人物的多个部分，
对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，
按所述各部分比较对所述每一帧计算出的各部分的得分，来确定所述各部分的最佳图像，
将所述各部分与该部分的特征量对应地存储于存储部，
通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。


8.根据权利要求7所述的人物检索系统，其特征在于：
具有能够与所述影像分析装置连接的工作终端，
所述工作终端包括用于显示由所述拍摄装置拍摄到的影像的显示部和能够...

【专利技术属性】
技术研发人员：秋良直人，广池敦，今田努，中前冠，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP