图像处理装置以及图像处理方法制造方法及图纸

根据与实际环境的对象物关联的物理量的观测值，高效地推定下一时刻的对象物的位置。因此，图像处理装置从第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类(S102)。将用于进行状态预测的对象物的种类所对应的模型与第一对象物图像匹配，与第一对象物图像的特征点关联(S105)。根据第一对象物的位置以及初始观测状态从第一对象物的种类所对应的有限状态系列选择多个运动系列(S108)。按照选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标(S111)，以上述转换后的特征点为中心来生成粒子(S112)，决定概率最高的粒子为第一对象物的预期状态(S113)。

Image processing device and image processing method

According to the observed values of physical quantities associated with objects in the real environment, the location of objects at the next moment can be efficiently estimated. Therefore, the image processing device extracts from the first image extraction to the first object image of the first object for state prediction, and identifies the category of the first object (S102). The model corresponding to the category of objects used for state prediction is matched with the first object image and associated with the feature point of the first object image (S105). A plurality of motion series (S108) are selected from the finite state series corresponding to the category of the first object according to the location of the first object and the initial observation state. The model of matching the first object image and the coordinates of its associated feature points (S111) are converted according to the various motion series included in the selected series of motion series, and the particle (S112) is generated at the center of the above converted feature points to determine the expected state of the highest probability particle as the first object (S113).

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置以及图像处理方法
本专利技术涉及图像处理装置以及图像处理方法，特别涉及一种根据拍摄到的图像预测被摄体的状态变化的技术。
技术介绍
专利文献1中提出以下技术，即根据拍摄到的图像，通过粒子滤波法来推定对象物的物理量，或通过凝聚法将与对象物的特征量关联的量设为权重来推定对象物的位置。专利文献2中提出以下技术，即将由具有三维坐标值的多个特征点和表示与各个特征点关联起来的局部图像的局部图像信息所构成的三维模型投影到二维的观测空间，并使用在二维观测空间中选择出的特征点集合来推定三维模型的状态量，然后将推定出的三维模型状态投影到观测空间并重复计算适合度来推定三维模型的状态量。专利文献3中提出以下技术，在图像的多个位置依次设定用于判定是否存在目标的关注区域，根据弹性模型设定假设关注区域中存在目标时的部件(parts)的基准位置，对检测出的部件分别计算表示偏离基准位置的程度的值即弹性成本。然后，将存在多个计算出的弹性成本为预定范围内的相同种类的零件作为条件，判定关注区域为存在构成集团的目标的目标区域。现有技术文献专利文献专利文献1：日本特开2005-44352号公报专利文献2：日本特开2007-299312号公报专利文献3：日本特开2014-63273号公报
技术实现思路
专利技术要解决的课题但是，应用了专利文献1的粒子滤波法的跟踪方法如果有多个类似的对象物且有交叉则会有粒子混淆而搞错每个对象的跟踪的问题。另外，如果有对象物的遮挡则会有粒子削减并搞错对象的跟踪的问题。另外，即使为了在对象物运动的变化不一致的情况下也实现稳定的跟踪，需要生成多个样本，会有处理速度下降的问题。另外，如果对象物增加，会有所生成的样本增大且处理速度下降的问题。在专利文献2中，通过在二维观测空间选择出的有效的特征点集合来推定三维模型的状态量，但是根据上次的三维模型的状态预测这次的三维模型的状态只通过基于位置和速度以及加速度的运算进行位置预测，因此为了跟踪加速度变化的复杂的运动需要缩短观测间隔，存在在观测期间没有进行其他处理的时间间隔的问题。专利文献3的基于弹性模型进行的图像处理装置示出了高精度地检测对象集团的区域的方法，但是会有在知道类似的多个对象时跟踪效率不佳的问题。本专利技术的目的是为了解决上述问题点而提供一种技术，即根据与实际环境的对象物关联的物理量的观测值，高效地推定下一时刻的对象物的位置。用于解决课题的手段为了达成上述目的，本专利技术具备：图像读入部，其读入在第一时刻拍摄到的第一图像以及在上述第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部，其从上述第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类，并且从上述第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；模型信息存储部，其存储规定与用于进行状态预测的对象物的种类对应的模型的模型信息；有限状态系列存储部，其存储与上述第一对象物的种类对应的规定了随着时间经过的多个状态变化系列的有限状态系列；模型状态预测部，其从上述模型信息存储部读出与上述第一对象物的种类对应的模型信息，将上述第一对象物图像的特征点与读出的模型关联，并且从上述有限状态系列存储部检索与上述第一对象物的种类对应的有限状态系列，根据上述第一对象物的位置以及上述第一对象物的初始观测条件的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列，按照上述选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标，以转换后的特征点为中心，根据存在概率来生成粒子；以及匹配部，其进行根据包括在第二时刻拍摄到的第二图像中的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。专利技术的效果通过上述专利技术，能够提供一种技术，根据与实际环境的对象物关联的物理量的观测值来高效地推定下一个时刻的对象物的位置。另外，根据以下的实施方式能够明确上述以外的问题、解决手段。附图说明图1表示本专利技术实施方式的图像处理装置的硬件结构。图2是表示通过图像处理装置10执行的状态变化预测程序的结构的功能框图。图3是第一实施方式的实际空间的说明图。图4是表示通过摄像机24拍摄得到的图像(观测空间)的图。图5是表示本实施方式的图像处理装置的处理流程的流程图。图6是表示立体声摄像机进行的距离运算处理的说明图。图7是表示线框模型的一例的图，(a)表示在观测空间内存在的线框模型；(b)表示所生成的线框模型。图8是表示根据立体声摄像机的对应点而设定的对象物的区域的图。图9是表示对象物图像的特征点的检测例的图，(a)表示从对象物图像检测角落等的特征点的状态；(b)表示将检测出的特征点与线框模型关联后的状态。图10是表示运动向量、加速的计算例的图。图11是将在观测空间中识别出的对象物表示为二维道路地图上的状态的图。图12是表示有限状态系列例的图，(a)是放大表示1次运动角度的有限状态系列例；(b)概念地表示基于对象物状态的运动系列的选择。图13是表示将选择出的运动系列131分配给第一对象物130的状态的图。图14是表示对图11的二维道路地图上的对象物适用了运动系列的状态的图。图15是表示对象物的运动向量的图。图16是表示运动系列以及基于运动向量的运动预测的图。图17是表示通过多个选择出的运动系列和运动向量、加速度的组合来生成多个二维运动预测的状态的图。图18是表示线框模型的射影转换的变形例的图。图19是表示与线框模型对应的特征点的摄影转换的图。图20是表示以对应的特征点为中心生成了粒子的状态的图。图21是表示选择了最类似的粒子的状态的图。具体实施方式以下，参照附图详细说明本专利技术的优选实施方式。图1表示本专利技术实施方式的图像处理装置的硬件结构。如图1所示，本实施方式的图像处理装置10作为将CPU14和作为数据存储装置的ROM16以及RAM18分别经由总线26以能够交换命令和数据的方式连接的计算机而构成，其中，CPU14控制用于预测对象物的状态变化的运算处理。输入摄像机24的摄像图像的图像取入装置22与该总线26连接。另外，用于对外部装置输出各种数据的数据输出I/F12以及文件单元20与总线26连接，该文件单元20预先存储规定与用于进行状态预测的对象物的种类对应的模型信息词典201(参照图2)以及规定了模型的随着时间经过的多个状态变化的系列的状态系列词典202(参照图2)。模型信息词典201相当于模型信息存储部，状态系列词典202相当于有限状态系列存储部。ROM16中预先存储处理例程等的程序。另外，本实施方式的图像处理装置10除了以上结构以外还包括电源装置等多个电气系统的结构要素，但是是众所周知或一般的结构，因此省略详细的说明。图2是表示通过图像处理装置10执行的状态变化预测程序的结构的功能框图。图像处理装置10包括：图像读入部14a，其经由图像取入装置22读入在摄像机24拍摄的在第一时刻拍摄到的第一图像以及在第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部14b，其从第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别第一对象物的种本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，该图像处理装置具备：图像读入部，其读入在第一时刻拍摄到的第一图像以及在上述第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部，其从上述第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类，并且从上述第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；模型信息存储部，其存储规定与用于进行状态预测的对象物的种类对应的模型的模型信息；有限状态系列存储部，其存储与上述第一对象物的种类对应的、规定了随着时间经过的多个状态变化系列的有限状态系列；模型状态预测部，其从上述模型信息存储部读出与上述第一对象物的种类对应的模型信息，将上述第一对象物图像的特征点与读出的模型关联，并且从上述有限状态系列存储部检索与上述第一对象物的种类对应的有限状态系列，根据上述第一对象物的位置以及上述第一对象物的初始观测条件的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列，按照上述选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标，以转换后的特征点为中心，根据存在概率来生成粒子；以及匹配部，其进行根据在第二时刻拍摄到的第二图像中包括的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。...

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其特征在于，该图像处理装置具备：图像读入部，其读入在第一时刻拍摄到的第一图像以及在上述第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部，其从上述第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类，并且从上述第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；模型信息存储部，其存储规定与用于进行状态预测的对象物的种类对应的模型的模型信息；有限状态系列存储部，其存储与上述第一对象物的种类对应的、规定了随着时间经过的多个状态变化系列的有限状态系列；模型状态预测部，其从上述模型信息存储部读出与上述第一对象物的种类对应的模型信息，将上述第一对象物图像的特征点与读出的模型关联，并且从上述有限状态系列存储部检索与上述第一对象物的种类对应的有限状态系列，根据上述第一对象物的位置以及上述第一对象物的初始观测条件的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列，按照上述选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标，以转换后的特征点为中心，根据存在概率来生成粒子；以及匹配部，其进行根据在第二时刻拍摄到的第二图像中包括的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。2.根据权利要求1所述的图像处理装置，其特征在于，上述有限状态系列存储部存储规定了上述对象物的形状变化的系列的有限状态系列，上述模型状态预测部计算上述对象物的形状变化量，并根据该形状变化量使上述模型进行几何转换来运算预测状态。3.根据权利要求1所述的图像处理装置，其特征在于，上述有限状态系列存储部存储规定了上述对象物的颜色变化的系列的有限状态系列，上述模型状态预测部输出上述对象物的变化后的颜色。4.根据权利要求1所述的图像处理装置，其特征在于，上述有限状态系列存储部...

【专利技术属性】
技术研发人员：上岛利明，
申请(专利权)人：株式会社日立信息通信工程，
类型：发明
国别省市：日本,JP