图像处理装置、图像处理方法和存储介质制造方法及图纸

本发明专利技术涉及图像处理装置、图像处理方法和存储介质。图像处理装置包括：第一检测单元，其执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其执行用于至少通过使用模式匹配来从图像中检测被假定为人物的物体的第二检测处理；确定单元，其确定通过第一检测处理检测到的物体是否与通过第二检测处理检测到的物体对应；校正单元，其校正跟通过第一检测处理检测到的且被确定为与通过第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其至少基于由校正单元校正过的检测结果，计算图像中的人物的数量。

Image Processing Device, Image Processing Method and Storage Media

【技术实现步骤摘要】
图像处理装置、图像处理方法和存储介质
本公开涉及图像处理装置、图像处理方法和存储介质。
技术介绍
已经提出了用于测量拍摄图像中的人的数量和人的拥挤程度的系统。该系统能够检测拥挤程度并能够通过拥挤掌握人的关注程度，因而期望用于拥挤的缓解和用于旨在集中人的营销活动。日本特开2009-211311号公报公开了用于通过检测人物形状来测量人物数量的技术。“YingyingZhang,Desenhou,SiqinChen,ShenghuaGao,YiMa.Single-ImageCrowdCountingviaMulti-ColumnConvolutionalNeuralNetwork.CVPR,2016”讨论了如下技术：通过使用利用包括一群人的训练数据进行学习的训练模型，在拥挤环境中通过头部对目标是人物的可能性进行评估，来测量人物的数量。在如日本特开2009-211311号公报所讨论的使用人物形状的人物检测中，能够在几乎不存在人物交叠的场所中以高的精度检测人物。然而，在该人物检测中，在人口密集的场所中，例如在人物的形状被其它物体隐藏住的环境中，检测的精度会降低。在基于头部检测的人物检测中，在仅能够拍摄到人物头部的人口密集的场所中能够以高的精度检测人物，而因为使用包括一群物体的图像作为训练数据，所以在人口稀少的场所中，检测的精度会降低。
技术实现思路
为了改善人物检测的精度，本公开的一方面提供了一种图像处理装置，所述图像处理装置包括：第一检测单元，其被构造为执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其被构造为执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；确定单元，其被构造为确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；校正单元，其被构造为校正跟通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其被构造为至少基于由所述校正单元校正过的检测结果，计算所述图像中的人物的数量。通过以下参照附图对示例性实施例的描述，其它特征将变得明显。附图说明图1是示出图像处理装置的硬件构造的图。图2是示出图像处理装置的功能构造的图。图3A和图3B分别是示出第一检测处理和第二检测处理的说明图。图4是示出图像处理的流程图。图5A和图5B均是示出显示画面的示例的图。图6是示出用于人物的匹配确定处理的说明图。图7是示出根据第二示例性实施例的图像处理的流程图。图8是示出检测结果的示例的图。具体实施方式在下文中，将参照附图描述本公开的示例性实施例。以下将描述第一示例性实施例。图1是示出根据本示例性实施例的图像处理装置100的硬件构造的图。图像处理装置100包括中央处理单元(CPU)110、存储器120、显示设备130、输入设备140和网络接口(I/F)150。CPU110控制图像处理装置100。存储器120存储供CPU110使用以进行处理的数据、指令等。显示设备130是液晶监控器等，并且显示各种类型的信息。输入设备140是鼠标或键盘，并且输入用户操作。网络I/F150是连接到网络的接口。通过使CPU110执行存储在存储器120中的指令，实现图像处理装置100的功能和处理。图2是示出图像处理装置100的功能构造的图。图像处理装置100包括图像获取单元210、检测方法确定单元220、第一检测单元231、第二检测单元232、匹配确定单元240、结果校正单元250和显示处理单元260。图像获取单元210获取待实施人物检测的图像。检测方法确定单元220确定是对所获取的图像进行第一检测处理、第二检测处理还是两者，其中第一检测处理和第二检测处理进行人物检测。第一检测处理是专用于人物头部检测的针对人物检测的图像处理。在第一检测处理中，通过使用已经利用具有高的人物密度的训练数据进行了学习的训练模型，来检测被假定为人物的物体(在下文中，还称为“人物”或“人物物体”)。在第一检测处理中，检测图像中的被假定为人物的物体的坐标，并且检测所检测的物体是人物的可能性(likelihood)。作为示例，可能性越大，物体就越可能是人物。另外，作为示例，用小于或等于1的数字表示可能性，并且针对图像中的各物体计算可能性。将针对图像中的所有物体计算出的可能性的总和评估为图像中的人物的数量。作为用于生成训练模型的训练数据，可以使用与单个人物或多个人物对应的训练数据。在第二检测处理中，进行图像处理以检测呈现诸如面部、上半身或下半身等的人体的特征形状的区域。例如，在第二检测处理中，使用与诸如面部、上半身或下半身等的人体的特征形状对应的匹配模式，利用模式匹配检测被假定为人物的物体，而不使用训练模型。仅要求第一检测处理和第二检测处理不同，并且其具体处理不限于本示例性实施例中描述的那些。更期望地，针对人物的密度较高的状况，第一检测处理比第二检测处理适合。图3A和图3B是示出第一检测处理和第二检测处理的说明图。图3A是示出第一检测处理的检测结果的图。作为检测结果，获得指示头部在图像中的位置的点A的坐标(x，y)并获得可能性。图3B是示出第二检测处理的检测结果的图。在第二检测处理中，作为检测结果，获得呈现特征形状的区域300。在图3B的示例中，获得包括作为特征形状的面部形状的区域300。返回到图2，第一检测单元231进行第一检测处理。第二检测单元232进行第二检测处理。匹配确定单元240基于第一检测单元231的检测结果和第二检测单元232的检测结果，确定是否检测到同一人物。也就是，匹配确定单元240确定通过第一检测单元231检测的物体是否与通过第二检测单元232检测的物体对应。结果校正单元250在匹配确定单元240确定出检测到同一人物的情况下，校正第一检测单元231的检测结果(人物检测结果)。显示处理单元260进行控制，使得将由结果校正单元250校正过的第一检测单元231的检测结果显示在显示设备130上。图4是示出由根据本示例性实施例的图像处理装置100进行的图像处理的流程图。在步骤S401中，图像获取单元210获取待实施人物检测的图像。图像获取单元210可以从诸如照相机等的外部设备获取图像，或者可选地，可以从存储器120获取图像。作为又一示例，图像处理装置100可以包括照相机。在这种情况下，图像获取单元210可以获取由照相机获得的图像。在步骤S402中，检测方法确定单元220确定对图像待进行的人物检测方法。具体地，检测方法确定单元220确定是进行第一检测处理、第二检测处理还是两者。检测方法确定单元220基于图像的频率成分，分析出现在待实施处理的图像中的人物的密度。检测方法确定单元220在密度超过阈值的情况下，确定出进行第一检测处理和第二检测处理两者，并且在密度为阈值以下的情况下，确定出仅进行第二检测处理。在检测方法确定单元220确定检测处理时进行的具体处理不限于本示例性实施例中描述的那些。作为另一示例，检测方法确定单元220可以基于用户操作确定检测处理。例如，显示处理单元260显示图5A所示的显示画面500。图像显示在显示画面500的图像窗口510中，出现在图像中的人物的密度叠加在图像上并带有颜色本文档来自技高网...

【技术保护点】
1.一种图像处理装置，所述图像处理装置包括：第一检测单元，其被构造为执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其被构造为执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；确定单元，其被构造为确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；校正单元，其被构造为校正跟通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其被构造为至少基于由所述校正单元校正过的检测结果，计算所述图像中的人物的数量。

【技术特征摘要】
2018.02.28 JP 2018-0350661.一种图像处理装置，所述图像处理装置包括：第一检测单元，其被构造为执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其被构造为执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；确定单元，其被构造为确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；校正单元，其被构造为校正跟通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其被构造为至少基于由所述校正单元校正过的检测结果，计算所述图像中的人物的数量。2.根据权利要求1所述的图像处理装置，其中，在人物的密度高的情况下使用所述第一检测处理。3.根据权利要求1所述的图像处理装置，其中，通过所述第一检测处理检测头部，并且其中，通过所述第二检测处理检测面部、上半身或下半身中的一个或更多个。4.根据权利要求1所述的图像处理装置，其中，在通过所述第一检测处理检测到的物体与通过所述第二检测处理检测到的物体对应的情况下，所述校正单元将指示通过所述第一检测处理检测到的物体有多大可能是人物的可能性的相对值，校正为更高的值。5.根据权利要求1所述的图像处理装置，其中，所述校正单元基于用户操作，校正所述第一检测处理的检测结果。6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示控制单元，所述显示控制单元被构造为进行控制，使得显示由所述校正单元校正过的所述第一检测处理的检测结果。7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括计算单元，所述计算单元被构造为通过将由所述校正单元校正过的所述第二检测处理的检测结果与所述第一检测处理的检测结果进行整合，来计算从...

【专利技术属性】
技术研发人员：渡边祐也，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP