信息处理装置、同一性判定方法、以及存储介质制造方法及图纸

技术问题：提高检测到的物体的同一性的判定精度。解决方案：信息处理装置(1)具备：替换部(103)，其替换物体检测部(101)检测到的物体的纵向宽度和横向宽度的值；以及同一性判定部(104)，其基于替换后的纵向宽度和横向宽度的值，判定物体检测部(101)分别从多个图像中检测到的物体是否是同一物体。测到的物体是否是同一物体。测到的物体是否是同一物体。

【技术实现步骤摘要】
信息处理装置、同一性判定方法、以及存储介质


[0001]本专利技术涉及一种从图像中检测物体的信息处理装置等。

技术介绍

[0002]近年来，由于深度学习等机器学习的发展，图像上的物体的识别/检测精度正在提高。而且，由此，图像识别技术的用途正在扩展。但是，由于现状的检测精度不是100％，因此需要为了进一步扩展用途而进行进一步改进。在使用深度学习(或其它的神经网络系统的检测技术等)检测图像上的物体的情况下，首先准备教学数据(日语：教師
データ
)。教学数据是将图像和呈现到图像上的物体的详细信息(例如物体识别符、物体的位置、大小、形状、角度等)进行关联而制作的。而且，使用教学数据进行机器学习，输出一个或多个权重(已学习模型(日语：学習済
モデル
))作为学习结果。而且，使用该已学习模型进行物体检测。
[0003]另外，在根据动态图像进行物体检测的情况下，对在动态图像的某一帧检测到的物体、在该帧的前后的帧检测到的物体是否是同一物体进行判定。例如，在下述的专利文献1中，关于当前与过去的帧图像，使用物体、人物的位置的差异、移动方向的差异进行移动的物体、人物的检测(追踪)。现有技术文献专利文献
[0004]专利文献1：日本公开专利公报“日本专利公开2010-257441号公报(2010年11月11日公开)”
技术实现思路

(一)要解决的技术问题
[0005]在使用了机器学习算法的物体检测中，能够进行物体的检测，并且也能够对检测到的物体的大小、旋转角度进行检测。而且，大小、旋转角度能够用于通过不同的帧检测到的物体的同一性判定。
[0006]但是，即使作为检测对象的物体是同一物体，在使用了学习设定信息(教学数据、参数设定等)不同的已学习模型的情况下，有作为计算旋转角度的基准的轴的朝向变化的情况。而且，在由此检测的旋转角度、物体的纵向宽度/横向宽度中也有产生差异的情况。
[0007]对此，基于图16进行说明。图16是表示由于用于物体检测的已学习模型不同，从而以相同物体的旋转角度不同的方式进行检测的例子的图。在图16的例子中，从图像1000和1100的每一个中进行物体检测，该图像1000和1100是从拍摄了物体1010的动态图像中提取的。呈现在图像1000上的物体1010和呈现在图像1100上的物体1010是同一物体，但是随着时间的经过而旋转(图像1000的拍摄时刻较早)。
[0008]使用已学习模型a和b进行物体检测。已学习模型a和b都是用于检测物体1010的模型，但是利用在不同的学习设定信息(教学数据、参数设定等)下的机器学习而构建。而且，在图16中，将已学习模型a对图像1000、1100的物体检测结果示出为方框1020a、1120a。这样
的方框能够使用已学习模型a输出的、表示检测物体的位置的信息(例如中心位置的坐标)等信息绘制。
[0009]方框1020a的纵向宽度是32，横向宽度是10，角度是-9
°
。另外，方框1120a的纵向宽度和横向宽度与方框1020a相同，角度是7
°
。此外，纵横的宽度的单位是任意的。另外，对于物体的分类，在也使用了学习的已学习模型的情况下，也输出分类结果。
[0010]在基于利用这些已学习模型a的物体检测结果判定从图像1000和1100中检测到的各物体是否是同一物体的情况下，准确地判定为是同一物体。因为方框1020a和1120a的纵横的宽度相等，角度差的绝对值是16
°
(7
°
+9
°
)这样充分小的值。此外，能够将基于图像1000和1100的提取源即动态图像的帧率(例如10fps：Frames Per Second，每秒帧数)设定的阈值作为基准来判定角度差是否为小。
[0011]另外，将已学习模型b对图像1000、1100的物体检测结果示出为方框1020b、1120b。方框1020b与方框1020a相同，纵向宽度是32，横向宽度是10，角度是-9
°
。另一方面，方框1120b与方框1120a不同，纵向宽度是10，横向宽度是32，角度是97
°
。
[0012]方框1120a和1120b的外观相同，但是纵向和横向相反，角度也随之偏移90
°
。因此，如果基于已学习模型b的物体检测结果判定从图像1000和1100中检测的各物体是否是同一物体，则误判定为不是同一物体。因为方框1020b和1120b的纵横的宽度不同，角度差的绝对值大到106
°
(97
°
+9
°
)，超过了阈值。此外，这样的问题不限于深度学习，在使用了其它的已学习模型的物体检测中也是同样有可能产生的问题。
[0013]本专利技术的一个方式的目的在于，实现一种信息处理装置等，其能够提高在时序的多个图像中分别检测到的物体的同一性的判定精度。(二)技术方案
[0014]为了解决上述的技术问题，本专利技术的一个方式的信息处理装置具备：物体检测部，其从以时序拍摄的多个图像的每一个中检测物体，并对检测到的物体的纵向宽度及横向宽度进行检测；同一性判定部，其判定从所述多个图像中的第一图像检测到的第一物体与从所述多个图像中的第二图像检测到的第二物体是否是同一物体；以及替换部，其替换所述第一物体或所述第二物体的纵向宽度和横向宽度的值，当所述替换部进行所述的替换时，所述同一性判定部基于替换后的纵向宽度和横向宽度的值进行所述判定。
[0015]为了解决上述的技术问题，本专利技术的一个方式的同一性判定方法由一个或多个信息处理装置执行，包括：物体检测步骤，从以时序拍摄的多个图像的每一个中检测物体，并对检测到的物体的纵向宽度及横向宽度进行检测；替换步骤，替换从所述多个图像中的第一图像检测到的第一物体或从所述多个图像中的第二图像检测到的第二物体的纵向宽度和横向宽度的值；以及同一性判定步骤，基于替换后的纵向宽度和横向宽度的值判定所述第一物体与所述第二物体是否是同一物体。(三)有益效果
[0016]根据本专利技术的一个方式，能够提高在时序的多个图像中分别检测到的物体的同一性的判定精度。
附图说明
[0017]图1是本专利技术的一个实施方式的信息处理装置的控制部的功能框图的一例。
图2是表示包含上述信息处理装置的不当物检测系统的结构例的框图。图3是表示在垃圾焚烧设施中，垃圾收集车向垃圾坑内投下垃圾的情况的图。图4是表示垃圾坑内的图。图5是说明利用垃圾拍摄装置拍摄的图像的图。图6是表示从垃圾图像中检测不当物的处理的一例的流程图。图7是表示对静止图像的物体检测处理的一例的流程图。图8是表示保存对静止图像的物体检测结果时的数据结构的例子的图。图9是表示根图(日语：根付
きグラフ
)的例子的图。图10是表示保存与根图相关的信息时的数据结构的一例的图。图11是表示节点制作处理的一例的流程图。图12是表示节点连接处理的一例的流程图。图13是表示对动态图像的物体检测处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理装置，其具备：物体检测部，其从以时序拍摄的多个图像的每一个中检测物体，并对检测到的物体的纵向宽度及横向宽度进行检测；同一性判定部，其判定从所述多个图像中的第一图像检测到的第一物体与从所述多个图像中的第二图像检测到的第二物体是否是同一物体；以及替换部，其替换所述第一物体或所述第二物体的纵向宽度和横向宽度的值，当所述替换部进行了所述的替换时，所述同一性判定部基于替换后的纵向宽度和横向宽度的值进行所述判定。2.根据权利要求1所述的信息处理装置，其特征在于，所述物体检测部还检测所述第一物体和所述第二物体的旋转角度，所述同一性判定部基于将所述第一物体与所述第二物体的旋转角度的差修正90
°
后的值或修正90
°
后的所述第一物体的旋转角度与所述第二物体的旋转角度的差、以及所述替换部替换的纵向宽度及横向宽度的值判定所述第一物体与所述第二物体是否是同一物体。3.根据权利要求2所述的信息处理装置，其特征在于，在所述第一物体与所述第二物体的旋转角度的差是规定的阈值以上的情况下，所述替换部替换所述第一物体的纵向宽度和横向宽度，所述同一性判定部基于将所述第一物体与所述第二物体的旋转角度的差修正90
°
后的值、以及所述替换部替换的纵向宽度及横向宽度的值判定所述第一物体与所述第二物体是否是同一物体。4.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，所述物体检测部还检测所述第一物体和所述第二物体的位置信息，所述同一性判定部以所述第一物体的位置信息和所述第二物体的位置信息处于规定的关系为条件，判定所述第一物体与所述第二物体是同一物体。5.根据权利要求1至4中任一项所述的信息处理装置，其特征在于，所述多个图像是从动态图像中提取出的帧图像，所述信息处理装置具备运动图像物体检测部，关于所述运动图像物体检测部，当将在多个所述帧图像的每一个中检测到的物体作为节点，并将连结与所述同一性判定部判定为是同一物体的物体对应的所述节点的线段作为枝时，在检测到由所述枝连结的所述节点的所述帧图像连续规定数量以上的情况下，所述运动图像物体检测部将与由所述枝连结的所述节点对应的所述物体检测为呈现在所述动态图像中的物体。6.根据权利要求5所述的信息处理装置，其特征在于，即使在连续规定数量以上的所述...

【专利技术属性】
技术研发人员：三木裕介，三宅寿英，藤丸雅弘，牧恒男，桑野雅史，
申请(专利权)人：东京生态服务株式会社，
类型：发明
国别省市：