图像处理装置、图像处理系统、图像处理方法及存储介质制造方法及图纸

技术编号:18941639 阅读:22 留言:0更新日期:2018-09-15 11:18
本发明专利技术涉及图像处理装置、图像处理系统、图像处理方法及存储介质。该图像处理装置例如用于图像识别,诸如通过机器学习的物体计数。生成单元基于第一拍摄图像,生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据。训练单元通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。

Image processing device, image processing system, image processing method and storage medium

The invention relates to an image processing device, an image processing system, an image processing method and a storage medium. The image processing device, for example, is used for image recognition, such as object counting by machine learning. Based on the first captured image, the generating unit generates a first training data indicating a first training image and an image recognition result for the first training image. The training unit trains by using the first training data to generate an image recognition discriminator based on both the first training data and the second training data, the second training data being prepared in advance and indicating the second training image and the image recognition result for the second training image.

【技术实现步骤摘要】
图像处理装置、图像处理系统、图像处理方法及存储介质
本专利技术涉及图像处理装置、图像处理系统、图像处理方法以及非暂时性存储介质。
技术介绍
近年来,提出了这样的系统,其中,通过利用摄像装置拍摄预定区域并且对拍摄的图像进行图像识别,来获得诸如图像中的人数或存在或不存在异常等的信息。这样的系统可以检测公共空间中的拥挤,并且可以用于掌握拥挤时的人流量,因此预期可应用于事件中的拥挤缓解和危机时的疏散指导。作为这种图像识别的方法,提出了一种方法,其中,通过使用预先准备的监督数据而通过机器训练来生成识别模型,并且通过使用所获得的识别模型来进行图像识别。例如,作为使用机器训练估计人数的方法,存在如下方法,其中,通过使用人数已知的图像作为训练数据,基于诸如支持向量机或深度学习等的已知机器训练处理来训练识别模型。具体示例是Lempitsky(V.Lempitsky等人“LearningtoCountObjectsinImages”,AdvancesinNeuralInformationProcessingSystems(NIPS),2010),其中,进行密度映射(densitymap)估计器的机器训练,密度映射估计器估计对象物体的密度映射。然后,使用训练后的密度映射估计器生成识别对象图像的密度映射,并通过对密度映射进行积分来估计对象物体的数量。另外,在Ikeda(HirooIkeda等人,“AccuracyImprovementofPeopleCountingBasedonCrowd-PatchLearningUsingConvolutionalNeuralNetwork”,FIT2014,第13届信息科学和技术论坛,2014)中,进行使用固定大小的小图像作为输入并输出小图像中的人数的回归器的机器训练。然后,在将识别对象图像分割成子区域之后,将各个子区域调整为固定大小以生成小图像,并且由训练后的回归器获得各个小图像中的人数,并且通过获得所获得的各个小图像的人数的总和,估计识别对象图像中的人数。
技术实现思路
根据本专利技术的一个实施例,图像处理装置包括:生成单元,其被构造为基于第一拍摄图像,生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;以及训练单元,其被构造为通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的、指示第二训练图像和针对第二训练图像的图像识别结果。根据本专利技术的另一实施例,图像处理装置包括:训练单元,其被构造为生成基于第一训练数据和第二训练数据两者的鉴别器,所述第一训练数据指示基于由第一摄像装置获得的第一拍摄图像的第一训练图像和第一训练图像的图像识别结果,所述第二训练数据指示基于由不同于第一摄像装置的第二摄像装置获得的第二拍摄图像的第二训练图像和第二训练图像的图像识别结果,其中,所述鉴别器是用于对由第一摄像装置拍摄的图像进行图像识别的鉴别器。根据本专利技术的又一实施例,图像处理系统包括:生成单元,其被构造为基于第一拍摄图像生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;以及训练单元,其被构造为通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。根据本专利技术的又一实施例,图像处理方法包括:基于第一拍摄图像生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;并且通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。根据本专利技术的又一实施例,非暂时性存储介质存储程序,所述程序在由包括处理器和存储器的计算机执行时使所述计算机:基于第一拍摄图像生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;并且通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。从以下对示例性实施例的描述(参照附图),本专利技术的其他特征将变得清楚。附图说明图1是例示根据实施例的图像处理装置的硬件构造的示例的图。图2是例示根据实施例的图像处理装置的功能构造的示例的图。图3是例示根据实施例的图像处理的示例的流程图。图4是例示生成附加训练数据(additionaltrainingdata)的方法的示例的流程图。图5是例示生成附加训练数据的方法的示例的流程图。图6是例示以增量训练模式(incrementaltrainingmode)显示的UI的示例的视图。图7A至图7D是例示生成背景图像的方法的示例的图。图8是例示用于根据背景图像生成附加训练数据的方法的示例的图。图9是例示用于根据人体跟踪结果生成附加训练数据的方法的示例的图。图10是例示显示方法的示例的图。具体实施方式当例如拍摄时间、摄像装置的方向、摄像装置的位置、摄像装置的视角、布置摄像装置的空间等改变时,摄像装置获得的图像的倾向(tendency)也改变。另外,在由摄像装置获得的图像的倾向与在识别模型的训练中使用的图像的倾向不同的情况下,所获得的图像识别结果的精度可能降低。本专利技术的实施例通过使用机器训练提高在对由布置在预定环境中的摄像装置获得的拍摄图像进行图像识别处理时,图像识别处理的精度。在下文中,基于附图描述本专利技术的实施例。然而,本专利技术的范围不限于下面的实施例。以下描述的一些实施例使用通过使用预先准备的监督数据预先训练的图像识别用鉴别器(discriminator),换言之,指示训练图像和训练图像的图像识别的正确结果的训练数据。此外,通过使用附加训练数据来进行鉴别器的这种增量训练,附加训练数据指示根据在特定场景中拍摄的拍摄图像生成的训练图像和训练图像的图像识别结果。例如,通过增量训练来进行鉴别器参数的更新。通过这样的训练,生成基于监督数据和附加训练数据二者的鉴别器。另外,通过进行这样的增量训练,当对在特定场景中拍摄的拍摄图像进行图像识别时,可以通过鉴别器使识别精度提高。另外,当生成如下所述的附加训练数据时,可以使用自动获得的训练图像的图像识别结果。换言之,可以通过使用与使用进行训练的鉴别器的识别方法不同的方法自动获得的图像识别结果,来生成附加训练数据。根据这种构造,由于可以在用户没有输入正确的识别结果的情况下生成附加训练数据,所以可以减轻用户的负担。在下文中,给出关于识别在拍摄图像内出现的计数对象的数量的应用的描述。换言之,用于估计图像内的计数对象的数量的鉴别器被用作鉴别器。此外,包括在监督数据中的训练图像的图像识别结果是训练图像内的计数对象的数量,并且包括在附加训练数据中的训练图像的图像识别结果也是训练图像内的计数对象的数量。在下文中,特别地,进行图像内的人体数的估计。然而,可以进行除人体以外的计数对象的数量的估计。同时,本专利技术的应用不限于识别在图像内拍摄的计数对象的数量的情况。实际上,本专利技术也可以用于进行其他类型的图像识别的情况。例如,本专利技术可以被应用于从图像中检测到物体的轮廓的情况或者对图像进行字符识别的情况。图1本文档来自技高网
...

【技术保护点】
1.一种图像处理装置,所述图像处理装置包括:生成单元,其被构造为基于第一拍摄图像,生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;以及训练单元,其被构造为通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。

【技术特征摘要】
2017.03.03 JP 2017-0409211.一种图像处理装置,所述图像处理装置包括:生成单元,其被构造为基于第一拍摄图像,生成指示第一训练图像和针对第一训练图像的图像识别结果的第一训练数据;以及训练单元,其被构造为通过使用第一训练数据进行训练,来基于第一训练数据和第二训练数据两者,生成图像识别用鉴别器,所述第二训练数据是预先准备的且指示第二训练图像和针对第二训练图像的图像识别结果。2.根据权利要求1所述的图像处理装置,其中,所述训练单元还被构造为通过使用所述第一训练数据和所述第二训练数据两者来进行所述鉴别器的训练。3.根据权利要求1所述的图像处理装置,其中,所述训练单元通过使用所述第一训练数据对使用所述第二训练数据被训练了的鉴别器进行增量训练。4.根据权利要求3所述的图像处理装置,其中,所述训练单元还使用具有所述第一训练数据和所述第二训练数据的混合的混合训练数据来进行鉴别器的增量训练。5.根据权利要求4所述的图像处理装置,其中,第一训练数据包括多个第一数据项,所述多个第一数据项中的各个指示训练图像及训练图像的标签;第二训练数据包括多个第二数据项,所述多个第二数据项中的各个指示训练图像及训练图像的标签;混合训练数据包括多个数据项,所述多个数据项包括至少一个第一数据项和至少一个第二数据项;并且混合训练数据中具有特定标签的第一数据项的数量与混合训练数据中具有特定标签的第二数据项的数量之和,与第二训练数据中具有特定标签的第二数据项的数量相同。6.根据权利要求1至5中的任一项所述的图像处理装置,其中,所述鉴别器是用于估计图像中的计数对象的数量的鉴别器,并且第一训练图像的图像识别结果是第一训练图像中的计数对象的数量,并且第二训练图像的图像识别结果是第二训练图像中的计数对象的数量。7.根据权利要求6所述的图像处理装置,其中,所述生成单元还根据第一拍摄图像的背景图像生成第一训练图像。8.根据权利要求6所述的图像处理装置,其中,所述生成单元还从第一拍摄图像中提取第一训练图像,并且通过使用第一拍摄图像中的计数对象的位置信息来确定第一训练图像中的计数对象的数量。9.根据权利要求8所述的图像处理装置,其中,所述生成单元还通过对第一拍摄图像进行计数对象的检测处理来生成第一拍摄图像中的计数对象的位置信息。10.根据权利要求8所述的图像处理装置,其中,所述生成单元还确定针对第一拍摄图像中的各个区域的计数对象的密度信息,并且根据针对各个区域的密度信息来从第一拍摄图像中提取第一训练图像。11.根据权利要求1至5中的任一项所述的图像处理装置,其中,所述生成单元还反复生成第一训练数据,并且所述训练单元还使用第一训练数据来反复地进行训练,并且所述图像处理装置还包括控制单元,所述控制单元被构造为基于反复训练的周期、训练的反复计数或...

【专利技术属性】
技术研发人员:马场康夫
申请(专利权)人:佳能株式会社
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1