物体状态识别装置、识别方法和识别用程序以及控制装置制造方法及图纸

本公开涉及物体状态识别装置、识别方法和识别用计算机程序及控制装置。物体状态识别装置将按时间序列获得的一系列图像输入到第1识别器来从各图像检测包含预定物体的物体区域，对于各图像判定是否是物体区域内包含预定物体以外的其他物体的混合状态，通过将从各图像的物体区域内的像素值求取的特征按时间序列输入到递归结构的第2识别器，并且将存储于存储部的第2识别器的递归利用的内部状态应用于第2识别器，识别伴随时间序列外观变化的预定物体的状态。再者，对于各图像，在该图像上的物体区域是混合状态时，将第2识别器的最新内部状态废弃，在不是混合状态时，用最新内部状态更新存储于存储部的内部状态。由此能识别图像表示的物体的状态。表示的物体的状态。表示的物体的状态。

【技术实现步骤摘要】
物体状态识别装置、识别方法和识别用程序以及控制装置


[0001]本专利技术涉及识别图像中表示的物体的状态的物体状态识别装置、物体状态识别方法和物体状态识别用计算机程序、以及利用这种物体状态识别装置的控制车辆行驶的控制装置。

技术介绍

[0002]正在研究对如由摄像头(camera)获得的图像这样的传感器信息所表示的物体进行检测的技术。近年来，为了检测物体，提出了通过使用所谓的深度神经网络(以下，简称为DNN)这一机器学习方法来提高检测精度的技术。
[0003]另外，为了跟踪(追踪)图像中表示的物体，提出了利用时间序列(时间顺序)的多个图像或者从这些图像获得的特征量作为神经网络的输入的技术(例如，参照专利文献1)。
[0004]例如，专利文献1所公开的物体跟踪方法将按时间序列连续的两个以上的图像输入到神经网络。该物体跟踪方法对上述两个以上的图像各自的特征量即由神经网络提取到的特征量进行比较来比对相似性。而且，该物体跟踪方法基于该比对结果，将与在时间序列上的前一图像中映现的作为跟踪候选的一个以上的物体一致的、在与前一图像相比在时间序列上的后一图像中映现的一个以上的物体的识别信息和位置信息，作为识别结果输出。另外，所使用的神经网络包括两个以上的具有1个以上的全连接层和0个以上的卷积层的同一构造，由同一构造间的对应的层共享参数。
[0005]现有技术文献
[0006]专利文献1：日本特开2018
‑
26108号公报

技术实现思路

[0007]专利技术所要解决的问题
[0008]成为检测对象的物体的状态有时由该物体的外观的时间序列变化来表示。然而，在上述技术中，不过是对成为检测对象的物体进行跟踪，因此，有时无法准确地识别图像中表示的该物体的状态。
[0009]于是，本专利技术的目的在于，提供一种能够识别图像中表示的物体的状态的物体状态识别装置。
[0010]用于解决问题的技术方案
[0011]根据一个实施方式，提供一种物体状态识别装置。该物体状态识别装置具有：物体检测部，其通过将按时间序列获得的一系列图像输入到预先被学习(训练)为检测预定物体的第1识别器(分类器)，对于一系列图像的每个图像，在该图像上检测包含预定物体的物体区域；混合状态判定部，其对于在一系列图像的每个图像中检测出的物体区域，判定是否是在该物体区域内包含预定物体以外的其他物体的混合状态；以及状态识别部，其通过将从在一系列图像的每个图像中检测出的物体区域内的像素值求取的特征按时间序列顺序输入到具有递归结构的第2识别器，并且将存储于存储部的第2识别器的被递归地利用的内部
状态应用于该第2识别器，识别伴随时间序列外观变化的预定物体的状态。而且，状态识别部对于一系列图像的每个图像，在该图像上的物体区域是混合状态的情况下，废弃通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，另一方面，在该图像上的物体区域不是混合状态的情况下，用通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，将存储于存储部的内部状态更新。
[0012]在该物体状态识别装置中，优选为，第1识别器还被学习为计算混合度，混合度表示物体区域是混合状态的确定性(准确度)，每当物体检测部将一系列图像的每个图像按时间序列顺序输入到第1识别器时，第1识别器计算关于该图像上的物体区域的混合度，混合状态判定部对于一系列图像的每个图像，在关于该图像上的物体区域的混合度大于等于预定阈值的情况下，判定为该图像上的物体区域是混合状态。
[0013]或者，在该物体状态识别装置中，优选为，混合状态判定部对于一系列图像的每个图像，通过将关于该图像上的物体区域的特征输入到预先被学习为计算混合度的第3识别器，计算关于该图像上的物体区域的混合度，并在关于该图像上的物体区域的混合度大于等于预定阈值的情况下，判定为该图像上的物体区域是混合状态，混合度表示物体区域是混合状态的确定性。
[0014]又或者，在该物体状态识别装置中，优选为，混合状态判定部对于一系列图像的每个图像，计算该图像上的物体区域与由第1识别器检测出的包含其他物体的其他物体区域的重复程度，并在重复程度大于等于预定阈值的情况下，判定为该图像上的物体区域是混合状态。
[0015]根据本专利技术的另一技术方案，提供一种控制车辆的行驶的控制装置。该控制装置具有：存储部；物体检测部，其通过将由搭载于车辆的拍摄部按时间序列获得的一系列图像输入到预先被学习为检测其他车辆的第1识别器，对于一系列图像的每个图像，在该图像上检测包含其他车辆的物体区域；混合状态判定部，其对于在一系列图像的每个图像中检测出的物体区域，判定是否是在该物体区域内包含其他车辆以外的其他物体的混合状态；状态识别部，其通过将从在一系列图像的每个图像中检测出的物体区域内的像素值求取的特征按时间序列顺序输入到具有递归结构的第2识别器，并且将存储于存储部的第2识别器的被递归地利用的内部状态应用于该第2识别器，识别伴随时间序列外观变化的其他车辆的状态；驾驶计划部，其基于其他车辆的状态，预测其他车辆行驶的轨迹，并基于预测出的轨迹，设定车辆的行驶预定路径以使车辆与其他车辆相距大于等于预定距离；以及车辆控制部，其控制车辆以使车辆沿着行驶预定路径行驶。而且，状态识别部对于一系列图像的每个图像，在该图像上的物体区域是混合状态的情况下，废弃通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，另一方面，在该图像上的物体区域不是混合状态的情况下，用通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，将存储于存储部的内部状态更新。
[0016]根据本专利技术的又一技术方案，提供一种物体状态识别方法。该物体状态识别方法包括：通过将按时间序列获得的一系列图像输入到预先被学习为检测预定物体的第1识别器，对于一系列图像的每个图像，在该图像上检测包含预定物体的物体区域；对于在一系列图像的每个图像中检测出的物体区域，判定是否是在物体区域内包含预定物体以外的其他物体的混合状态；通过将从在一系列图像的每个图像中检测出的物体区域内的像素值求取
的特征按时间序列顺序输入到具有递归结构的第2识别器，并且将存储于存储部的第2识别器的被递归地利用的内部状态应用于该第2识别器，识别伴随时间序列外观变化的预定物体的状态；对于一系列图像的每个图像，在该图像上的物体区域是混合状态的情况下，废弃通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，另一方面，在该图像上的物体区域不是混合状态的情况下，用通过将关于该图像上的物体区域的特征输入到第2识别器而更新出的最新的内部状态，将存储于存储部的内部状态更新。
[0017]根据本专利技术的又一技术方案，提供一种物体状态识别用计算机程序。该物体状态识别用计算机程序包含用于使计算机执行以下处理的命令：通过将按时间序列获得的一系列图像输入到预先被学习为检测预定物体的第1识别器，对于一系列图像的每个图像，在该图像上检测包含预定物体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体状态识别装置，具有：物体检测部，其通过将按时间序列获得的一系列图像输入到预先被学习为检测预定的物体的第1识别器，对于所述一系列图像的每个图像，在该图像上检测包含所述物体的物体区域；混合状态判定部，其对于在所述一系列图像的每个图像中检测出的所述物体区域，判定是否是在该物体区域内包含所述物体以外的其他物体的混合状态；以及状态识别部，其通过将从在所述一系列图像的每个图像中检测出的所述物体区域内的像素值求取的特征按时间序列顺序输入到具有递归结构的第2识别器，并且将存储于存储部的所述第2识别器的被递归地利用的内部状态应用于所述第2识别器，识别伴随时间序列外观变化的所述物体的状态，所述状态识别部对于所述一系列图像的每个图像，在该图像上的所述物体区域是所述混合状态的情况下，废弃通过将关于该图像上的所述物体区域的所述特征输入到所述第2识别器而更新出的最新的所述内部状态，另一方面，在该图像上的所述物体区域不是所述混合状态的情况下，用通过将关于该图像上的所述物体区域的所述特征输入到所述第2识别器而更新出的最新的所述内部状态，将存储于所述存储部的所述内部状态更新。2.根据权利要求1所述的物体状态识别装置，所述第1识别器还被学习为计算混合度，所述混合度表示所述物体区域是所述混合状态的确定性，每当所述物体检测部将所述一系列图像的每个图像按时间序列顺序输入到所述第1识别器时，所述第1识别器计算关于该图像上的所述物体区域的所述混合度，所述混合状态判定部对于所述一系列图像的每个图像，在关于该图像上的所述物体区域的所述混合度大于等于预定阈值的情况下，判定为该图像上的所述物体区域是所述混合状态。3.根据权利要求1所述的物体状态识别装置，所述混合状态判定部对于所述一系列图像的每个图像，通过将关于该图像上的所述物体区域的所述特征输入到预先被学习为计算混合度的第3识别器，计算关于该图像上的所述物体区域的所述混合度，并在关于该图像上的所述物体区域的所述混合度大于等于预定阈值的情况下，判定为该图像上的所述物体区域是所述混合状态，所述混合度表示所述物体区域是所述混合状态的确定性。4.根据权利要求1所述的物体状态识别装置，所述混合状态判定部对于所述一系列图像的每个图像，计算该图像上的所述物体区域与由所述第1识别器检测出的包含其他物体的其他物体区域的重复程度，并在所述重复程度大于等于预定阈值的情况下，判定为该图像上的所述物体区域是所述混合状态。5.一种控制装置，是控制车辆的行驶的控制装置，具有：存储部；物体检测部，其通过将由搭载于所述车辆的拍摄部按时间序列获得的一系列图像输入到预先被学习为检测其他车辆的第1识别器，对于所述一系列图像的每个图像，在该图像上检测包含所述其他车辆的物体区域；混合状态判定部，其对于在所述一系列图像的每个图像中检测出的所述物体区域，判
定是否是在该物体区域内包含所述其他车辆以外的其他物体的混合状态；状态识别部，其通过将从在所述一系列图像的每个图像中检测出的所述物体区域内的像素值求取的特征按时间序列顺序输入到具有递归结构的第2识别器，并且将存储...

【专利技术属性】
技术研发人员：桥本大辅，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：