训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序技术

本申请的各实施例涉及训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序。矩形区域组存储单元81存储指示图像上将针对人群状态而被识别的部分的一组矩形区域。人群状态识别字典存储单元82存储通过利用多对人群状态图像和针对人群状态图像的训练标签进行机器学习而得到的鉴别器的字典，人群状态图像是表示在预定义尺寸的人群状态并且包括一人的图像，该人的基准部位被表示为与针对该预定尺寸被定义的人的基准部位的尺寸一样大。人群状态识别单元83从给定图像提取在被存储在矩形区域组存储单元中的该组矩形区域中被指示的区域，并且基于字典来识别在提取出的图像中拍摄的人群的状态。

Training data generating device, method and program, and crowd state recognition device, method and program

The various embodiments of the present application relate to training data generation equipment, methods and procedures, and crowd status identification equipment, methods and procedures. The rectangular area group storage unit 81 stores a set of rectangular areas indicating the portion of the image that will be identified for crowd status. The crowd state recognition dictionary storage unit 82 stores a dictionary of discriminators obtained by machine learning using multiple pairs of crowd state images and training labels for crowd state images, which represent a crowd state of a predetermined size and include an image of a person whose reference position is represented as and The size of the reference area defined for the predetermined size is as large as that. The crowd state recognition unit 83 extracts the indicated region in the rectangular region stored in the rectangular region group storage unit from a given image, and identifies the state of the crowd taken in the extracted image based on a dictionary.

【技术实现步骤摘要】
训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序分案申请说明本申请是国际申请日为2014年5月21日、于2015年12月25日进入中国国家阶段、国家申请号为201480036661.8、名称为“训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序”的中国专利技术专利申请的分案申请。
本专利技术涉及用于生成训练数据的训练数据生成设备、训练数据生成方法和训练数据生成程序以及用于识别图像中的人群的状态的人群状态识别设备、人群状态识别方法和人群状态识别程序。
技术介绍
提出了用于识别图像中的人群的状态(其在下面将被表示为人群状态)的各种技术(见PTL1至PTL3)。在PTL1中描述的人行为确定设备从视频提取改变的区域，并且根据该改变的区域来计算特征量，在改变的区域中由于背景差分等而造成差异。人行为确定设备然后通过使用对特征量进行机器学习的人鉴别器来确定改变的区域是否是人区域，从而检测人区域。另外，人行为确定设备考虑到距离或者颜色直方图而在帧之间关联检测到的人区域，并且在预定数目的帧上跟踪人区域。人行为确定设备然后根据通过跟踪获取的人轨迹来计算诸如平均速度、跟踪时间和运动方向之类的人轨迹的特征量，并且基于人轨迹的特征量来确定人行为。在PTL2中描述的人头数计数设备根据拍摄视频中的人群的视频对人的数目进行计数。人头数计数设备基于头部模型来提取图像中包括的人的头部。人头数计数设备然后通过使用诸如位置信息或颜色分布之类的特征量在帧之间将被确定为同一人的头部位置链接，并且根据链接结果(人跟踪结果)对人的数目进行计数。在PTL3中描述的系统检测诸如稳定(例如，人的主流)/不稳定(例如，与主流相对)之类的状态。系统聚集作为确定单元的确定块的光流属性，并且计算用于评估光流的稳定程度的评估值。系统然后根据评估值来确定确定块的状态。引用列表专利文献PTL1：日本专利申请特开第2011-100175号(0028至0030段)PTL2：日本专利申请特开第2010-198566号(0046至0051段)PTL3：日本专利申请特开第2012-22370号(0009段)
技术实现思路
技术问题对于在PTL1至PTL3中描述的技术，确定性能对于低帧速率的视频降低。特别地，对于在PTL1至PTL3中描述的技术，针对静止图像无法确定图像中的人群状态。这是因为在PTL1至PTL3中描述的技术使用视频中的每个帧并且状态确定性能依赖于帧之间的间隔。例如，利用在PTL1中描述的技术，人区域在帧之间被关联从而获取人轨迹。另外，利用在PTL2中描述的技术，头部位置在帧之间被链接并且其结果被假定为人跟踪结果。当这种轨迹或者跟踪结果被获取时，人区域或者头部位置需要在帧之间关联。此时，人的运动量在低帧速率处更大，并且因此人区域或头部位置的变化或者形状(姿势)的变化增大。另外，由于照明的干扰等产生的影响也增大。因此，人区域或头部位置难以在帧之间关联。结果，人轨迹等的精度降低并且确定图像中的人群状态的精度降低。另外，同样利用在PTL3中描述的技术，难以正确地找到低帧速率的光流，并且结果聚集的属性的精度降低并且状态确定性能降低。例如，假定一种使用具有学习的字典的鉴别器以便识别图像中的人群状态的方法。字典通过诸如指示人群状态的图像之类的训练数据而被学习。然而，用于学习字典的大量训练数据(学习数据)需要被收集。例如，人的布置(人之间的重叠或者人位置的偏差)、人的方向和密度(每单位区域的人)在各种状态下需要被定义，并且其中拍摄人的角度、背景、照明、衣服或姿势等在每一种状态下被不同地改变的大量图像需要被收集。机器学习通过使用图像而被执行以使得鉴别器的字典被获取。然而，用于收集训练数据的工作负荷在收集大量此类训练数据时增大。因此，本专利技术的一个目的是提供一种能够容易地生成用于对用于识别人群状态的鉴别器的字典进行机器学习的大量训练数据的训练数据生成设备、训练数据生成方法和训练数据生成程序。本专利技术的另一目的是提供一种无论帧速率如何都能够优选地识别图像中的人群状态的人群状态识别设备、人群状态识别方法和人群状态识别程序。对问题的解决方案根据本专利技术的一种训练数据生成设备包括：背景提取装置，用于从多个预先准备的背景图像选择背景图像，提取该背景图像中的区域，并且将对应于提取的区域的图像放大或者缩小为预定尺寸的图像；人状态确定装置，用于根据作为关于多人的人状态的指明信息的多人状态控制指明和作为关于多人中的个别人的状态的指明信息的个别人状态控制指明来确定人群的人状态；以及人群状态图像合成装置，用于生成人群状态图像、指定用于该人群状态图像的训练标签以及输出人群状态图像和训练标签的配对，人群状态图像是其中与由人状态确定装置所确定的人状态相对应的人图像被与由背景提取装置获取的预定尺寸的图像合成的图像。另外，根据本专利技术的一种人群状态识别设备包括：矩形区域组存储装置，用于存储指示图像上将针对人群状态而被识别的部分的一组矩形区域；人群状态识别字典存储装置，用于存储通过利用人群状态图像和用于人群状态图像的训练标签的多个配对进行机器学习而获取的鉴别器的字典，人群状态图像是以预定尺寸表达人群状态并且包括其基准部位被表达为与针对预定尺寸定义的人的基准部位的尺寸一样大的人的图像；以及人群状态识别装置，用于从给定图像提取在矩形区域组存储装置中存储的该一组矩形区域中指示的区域，并且基于字典来识别在提取的图像中拍摄的人群的状态。另外，根据本专利技术的一种训练数据生成方法包括：背景提取步骤，从多个预先准备的背景图像选择背景图像、提取该背景图像中的区域并且将对应于提取的区域的图像放大或者缩小为预定尺寸的图像；人状态确定步骤，根据作为关于多人的人状态的指明信息的多人状态控制指明和作为关于多人中的个别人的状态的指明信息的个别人状态控制指明来确定人群的人状态；以及人群状态图像合成步骤，生成人群状态图像、指定用于该人群状态图像的训练标签以及输出人群状态图像和训练标签的配对，人群状态图像是其中与在人状态确定步骤中确定的人状态对应的人图像被与在背景提取步骤中获取的预定尺寸的图像合成的图像。另外，在根据本专利技术的一种人群状态识别方法中，矩形区域组存储装置存储指示图像上将针对人群状态而被识别的部分的一组矩形区域，并且人群状态识别字典存储装置存储通过利用人群状态图像和用于人群状态图像的训练标签的多个配对进行机器学习而获取的鉴别器的字典，人群状态图像是以预定尺寸表达人群状态并且包括其基准部位被表达为与针对预定尺寸定义的人的基准部位的尺寸一样大的人的图像，该方法包括人群状态识别步骤，从给定图像提取在矩形区域组存储装置中存储的该一组矩形区域中指示的区域并且基于字典来识别在提取的图像中拍摄的人群的状态。另外，根据本专利技术的一种训练数据生成程序使得计算机执行：背景提取处理，从多个预先准备的背景图像选择背景图像、提取该背景图像中的区域并且将对应于提取的区域的图像放大或者缩小为预定尺寸的图像；人状态确定处理，根据作为关于多人的人状态的指明信息的多人状态控制指明和作为关于多人中的个别人的状态的指明信息的个别人状态控制指明来确定人群的人状态；以及人群状态图像合成处理，生成人群状态图像、指定用于该人群状态图像的训练标签以及输出人群状态图像和训练标签的配本文档来自技高网...

【技术保护点】
1.一种人群状态识别设备，包括：矩形区域组存储单元，用于存储指示图像上将针对人群状态而被识别的部分的一组矩形区域；人群状态识别字典存储单元，用于存储通过利用人群状态图像和用于所述人群状态图像的训练标签的多个配对进行机器学习而获取的鉴别器的字典，所述人群状态图像是以预定尺寸表达人群状态、并且包括其基准部位被表达为与针对所述预定尺寸定义的人的所述基准部位的尺寸一样大的人的图像；以及人群状态识别单元，用于从给定图像提取在所述矩形区域组存储单元中存储的所述一组矩形区域中指示的区域，并且基于所述字典来识别在提取的图像中拍摄的所述人群的状态。

【技术特征摘要】
2013.06.28 JP 2013-1359151.一种人群状态识别设备，包括：矩形区域组存储单元，用于存储指示图像上将针对人群状态而被识别的部分的一组矩形区域；人群状态识别字典存储单元，用于存储通过利用人群状态图像和用于所述人群状态图像的训练标签的多个配对进行机器学习而获取的鉴别器的字典，所述人群状态图像是以预定尺寸表达人群状态、并且包括其基准部位被表达为与针对所述预定尺寸定义的人的所述基准部位的尺寸一样大的人的图像；以及人群状态识别单元，用于从给定图像提取在所述矩形区域组存储单元中存储的所述一组矩形区域中指示的区域，并且基于所述字典来识别在提取的图像中拍摄的所述人群的状态。2.根据权利要求1所述的人群状态识别设备，其中所述人群状态识别字典存储单元存储通过利用人群状态图像和用于所述人群状态图像的训练标签的多个配对进行机器学习而获取的所述鉴别器的字典，所述人群状态图像通过合成与被控制为期望状态的人状态匹配的人图像而被获取，并且所述人群状态识别单元基于所述字典来识别在所述图像中拍摄的所述人群的状态。3.根据权利要求1所述的人群状态识别设备，其中所述矩形区域组存储单元存储基于指示用于获取图像的图像获取设备的位置、姿势、焦距和透镜畸变的相机参数的一组定义尺寸的矩形区域，以及针对所述预定尺寸定义的人的所述基准部位的所述尺寸，并且所述人群状态识别单元从给定图像提取在所述一组矩形区域中指示的区域。4.根据权利要求1所述的人群状态识别设备，其中所述人群状态识别字典存储单元存储通过改变在人群状态图像中表达的人的数目、并且通过利用针对人的所述数目准备的人群状态图像和训练标签的多个配对进行机器学习而获取的所述鉴别器的字典，并且所述人群状态识别单元基于所述字典来识别在所述图像中拍摄的所述人群中的人的所述数目。5.根据权利要求1所述的人群状态识别设备，其中所述人群状态识别字典存储单元存储通过改变在人群状态图像中表达的人的方向、并且通过利用针对人的所述方向准备的人群状态图像和训练标签的多个配对进行机器学习而获取的所述鉴别器的字典，并且所述人群状态识别单元...

【专利技术属性】
技术研发人员：池田浩雄，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本,JP