学习数据制作支援方法技术

本公开涉及学习数据制作支援方法，包括：步骤S12，基于通过拍摄对象物而取得的拍摄图像，识别对象物的属性的内容以及行动的类别；步骤S13，将所识别出的对象物的属性的内容以及行动的类别保存于数据库；步骤S14，参照数据库，判定所识别出的类别的行动的发生频度是否小于预先确定的阈值；以及步骤S15，在判定为小于阈值时，输出基于上述的拍摄图像制作如下计算机图形数据即CG数据制作为学习数据的指示，该CG数据表示具有与所识别出的属性的内容不同的内容的属性的对象物正在进行所识别出的类别的行动的状态。

Learning data making support method

The present disclosure relates to a learning data making support method, including: step S12, based on a photographed image obtained by a photographed object, identifying the content of the property of an object and the category of action; step S13, the content of the identified object property and the class of action in the database; step S14, reference The database determines whether the frequency of the action of the identified category is less than the predetermined threshold; and step S15, when it is judged to be less than a threshold, the output based on the above image is produced as an indication of the following computer graphics data, that is, the CG data is produced as the learning data, and the CG data representation has the identification with the identified data. The content of the attribute is different from the content of the object, and the object is performing the state of the action identified.

【技术实现步骤摘要】
学习数据制作支援方法
本公开涉及支援学习数据的制作的方法、装置以及记录有程序的记录介质。
技术介绍
现在，通过深度学习(Deeplearning)等技术，正在提高映在图像中的以人物为代表的对象物的识别或检测的精度。对于深度学习的识别，需要大量的学习数据。作为学习数据，需要图像和针对图像所映出的识别对象物的正解标签。专利文献1中记载了标注正解标签的技术。另外，已知有活用CG数据作为学习数据的图像(例如，参照专利文献2)。现有技术文献专利文献专利文献1：日本特开2013-161295号公报专利文献2：日本特开2010-211732号公报
技术实现思路
专利技术所要解决的课题但是，在上述专利文献1所记载的方法中，存在无法制作合适的学习数据这一问题。于是，本公开提供能够制作合适的学习数据的学习数据制作支援方法等。用于解决课题的技术方案本公开的一个技术方案的学习数据制作支援方法，对学习数据的制作进行支援，基于通过拍摄对象物而取得的拍摄图像，识别所述对象物的属性的内容以及行动的类别，将所识别出的所述对象物的属性的内容以及行动的类别保存于数据库，参照所述数据库，判定所识别出的所述类别的行动的发生频度是否小于预先确定的阈值，在判定为小于所述阈值时，输出基于所述拍摄图像制作如下CG(ComputerGraphics；计算机图形)数据作为所述学习数据的指示，该CG数据表示具有与所识别出的所述属性的内容不同的内容的属性的所述对象物正在进行所识别出的所述类别的行动的状态。此外，这些总括或具体的技术方案，既可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。专利技术的效果本公开的学习数据制作支援方法能够制作合适的学习数据。附图说明图1是示出实施方式中的学习数据制作系统的构成的构成图。图2是示出由实施方式中的提示部显示的画面的一例的图。图3是示出实施方式中的识别结果保存部所保存的识别结果的一例的图。图4是示出实施方式中的识别结果保存部所保存的行动的发生频度的一例的图。图5是用于说明实施方式中的CG制作装置的处理的图。图6是示出实施方式中的学习数据制作系统的处理工作的流程图。图7A是示出本公开的一个技术方案的学习数据制作支援方法的流程图。图7B是示出本公开的一个技术方案的学习数据制作支援装置的功能结构的框图。标号的说明10学习数据制作系统；20、100学习数据制作支援装置；21、101拍摄部；22、102识别部；23、104历史记录制作部；24、103a判定部；25、103bCG制作指示部；105提示部；106输入部；200CG制作装置；301识别结果保存部；302CG数据保存部具体实施方式(成为本公开的基础的见解)本专利技术人发现，关于在“
技术介绍
”一栏中记载的专利文献1的方法，存在以下的问题。如上所述，基于深度学习的学习需要大量的图像作为学习数据。另外，在使用了该学习结果的、在图像中映出的人物的识别、检测或预测中，不仅要求该人物的属性，还要求该人物的行动的识别等。但是，将表示人物的步行等日常频繁地进行的行动的图像作为学习数据大量地收集是简单的，但是，将异常(特异)行动的图像作为学习数据来收集是困难的。异常行动例如是“飞奔出”、“跌倒”或“偷盗”等。在上述专利文献1中，对所收集的图像的识别对象物标注正解标签，但是，终究无法针对没有作为图像收集到的异常行动生成学习数据。因此，如上述专利文献2的方法那样，考虑使用CG数据生成异常行动的图像。在专利文献2中，通过活用CG数据，能够增加学习数据的变化(variation)。但是，尽管已经通过实拍存在了大量的学习数据，无需通过CG追加该学习数据的实拍的图像，但应通过CG制作实拍中的发生频度不足的图像，但是，在专利文献2中，关于进行是否应通过该CG来制作的判断的方法，没有提及。也就是说，即便使用上述专利文献2的方法，也存在难以判断怎样的行动是异常行动的情况，结果，存在无法收集合适的学习数据这一问题。另外，“飞奔出”、“跌倒”或“偷盗”等异常行动的发生频度低，学习数据不足。因此，如果这些异常行动的学习数据不足，则使用了深度学习等的识别器对这些异常行动的识别精度不太高。因此，难以自动地提取异常行动的学习数据用于CG数据的生成。为了解决这样的问题，本公开的一个技术方案的学习数据制作支援方法，对学习数据的制作进行支援，基于通过拍摄对象物而取得的拍摄图像，识别所述对象物的属性的内容以及行动的类别，将所识别出的所述对象物的属性的内容以及行动的类别保存于数据库，参照所述数据库，判定所识别出的所述类别的行动的发生频度是否小于预先确定的阈值，在判定为小于所述阈值时，输出基于所述拍摄图像制作如下CG(ComputerGraphics；计算机图形)数据作为所述学习数据的指示，该CG数据表示具有与所识别出的所述属性的内容不同的内容的属性的所述对象物正在进行所识别出的所述类别的行动的状态。例如，所述拍摄图像，是通过拍摄人物作为所述对象物而取得的图像，在所述对象物的属性的内容的识别中，识别所述人物的年龄、性别、体格、服装、携带物以及背景中的至少1个内容，作为所述属性的内容。由此，判定从拍摄图像识别的类别的行动的发生频度是否小于阈值。因此，能够自动地提取例如作为人物的对象物正在进行例如“飞奔出”、“跌倒”或“偷盗”等发生频度低的类别的行动即异常行动的拍摄图像。进而，由于CG数据的制作的指示被输出，因此，能够生成表示具有与在拍摄图像中映出的人物的属性的内容不同的内容的属性的人物正在进行异常行动的状态的CG数据作为学习数据。也就是说，能够大量地制作表示具有相互不同的属性的内容的各人物正在进行异常行动的状态的CG数据作为学习数据。结果，能够制作以及收集针对异常行动等的合适的学习数据。另外，所述学习数据制作支援方法中，还可以，使用根据所述指示的输出制作的所述CG数据，学习由该CG数据表示的图像与所述对象物的属性的内容以及行动的类别的关系。由此，由于进行使用了所制作的CG数据的深度学习等学习，因此，即便至此没有拍摄过的对象物进行异常行动，也能够提高针对该对象物的拍摄图像的识别精度。另外，所述学习数据制作支援方法中，还可以，将所识别出的所述对象物的属性的内容以及行动的类别作为识别结果来提示，受理所提示的所述识别结果所包含的所述属性的内容以及行动的类别中的至少1个的变更，在向所述数据库的保存中，将变更后的识别结果保存于所述数据库，在所述发生频度的判定中，判定所述变更后的识别结果所包含的类别的行动的发生频度是否小于所述阈值，在所述CG数据的制作的指示的输出中，输出表示具有与所述变更后的识别结果所包含的属性的内容不同的内容的属性的所述对象物正在进行所述变更后的识别结果所包含的类别的行动的状态的所述CG数据的制作的指示。由此，即使识别结果中存在错误，也能够通过变更来正确地修正该错误。另外，在行动的类别被识别为“不明”或“其他”的情况下，能够将该“不明”或“其他”修正为正确的行动的类别。结果，能够制作以及收集更合适的CG数据，能够进一步提高异常行动的识别精度。另外，也可以是，所述拍摄图像包括表示作为所述对象物的人物的形态以及辉度的形态图像和表本文档来自技高网...

【技术保护点】
一种方法，包括：基于通过拍摄对象物而取得的拍摄图像，识别所述对象物的属性的内容以及行动的类别；将所识别出的所述对象物的属性的内容以及行动的类别保存于数据库；参照所述数据库，判定所识别出的所述类别的行动的发生频度是否小于预先确定的阈值；以及在判定为小于所述阈值时，输出基于所述拍摄图像制作如下计算机图形数据即CG数据作为学习数据的指示，该CG数据表示具有与所识别出的所述属性的内容不同的内容的属性的所述对象物正在进行所识别出的所述类别的行动的状态。

【技术特征摘要】
2016.10.14 JP 2016-202867;2017.06.19 JP 2017-119841.一种方法，包括：基于通过拍摄对象物而取得的拍摄图像，识别所述对象物的属性的内容以及行动的类别；将所识别出的所述对象物的属性的内容以及行动的类别保存于数据库；参照所述数据库，判定所识别出的所述类别的行动的发生频度是否小于预先确定的阈值；以及在判定为小于所述阈值时，输出基于所述拍摄图像制作如下计算机图形数据即CG数据作为学习数据的指示，该CG数据表示具有与所识别出的所述属性的内容不同的内容的属性的所述对象物正在进行所识别出的所述类别的行动的状态。2.根据权利要求1所述的方法，所述拍摄图像是通过拍摄人物作为所述对象物而取得的图像，在所述识别中，识别所述人物的年龄、性别、体格、服装、携带物以及背景中的至少1个内容作为所述属性的内容。3.根据权利要求1或2所述的方法，还包括：使用根据所述指示的输出制作的所述CG数据，学习由该CG数据表示的图像与所述对象物的属性的内容以及行动的类别的关系。4.根据权利要求1～3中任一项所述的方法，还包括：将所识别出的所述对象物的属性的内容以及行动的类别作为识别结果来提示，受理所提示的所述识别结果所包含的所述属性的内容以及行动的类别中的至少1个的变更，其中，在所述保存中，将变更后的识别结果保存于所述数据库，在所述判定中，判定所述变更后的识别结果所包含的类别的行动的发生频度是否小于所述阈值，在所述输出中，输出表示具有与所述变更后的识别结果所包含的属性的内容不同的内容的属性的所述对象物正在进行所述变更后...

【专利技术属性】
技术研发人员：谷川彻，庄田幸惠，渕上哲司，
申请(专利权)人：松下电器美国知识产权公司，
类型：发明
国别省市：美国,US