图像处理装置及车载显示系统及显示装置及图像处理方法制造方法及图纸

图像处理装置(120)中，提取部(121)从拍摄图像(101)提取多个对象物。预测部(122)预测被提取部(121)提取出的多个对象物间的将来的距离。分类部(123)基于由预测部(122)预测到的将来的距离，将由提取部(121)提取出的多个对象物分类成小组。处理部(124)将拍摄图像(101)加工成强调显示图像(102)。强调显示图像(102)是对每个小组强调显示由分类部(123)分类的多个对象物的图像。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序
本专利技术涉及图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序。
技术介绍
以往，存在有通过提供驾驶员的目视确认的状态作为行驶信息来辅助驾驶的行驶信息提供装置(例如，参照专利文献1)。该行驶信息提供装置根据对象物的属性将车辆的周围的对象物分类成若干的小组，并用不同的颜色来显示各个小组。作为对象物，有其他的车辆，步行者，标识，信号，人行横道等。对象物的“属性”例如是对象物的类别以及距离。现有技术文献专利文献专利文献1：国际公开第2008/029802号
技术实现思路
专利技术所要解决的技术问题以往的行驶提供情报装置将车辆的周围的对象物中类别一样，并且当前彼此间的距离在阈值以下的对象物分类成相同小组。在对象物分组时，不考虑对象物间将来的距离。例如，在互相靠近站着的4个步行者中，认定1个步行者处于要开始跑的姿势。这种情况下，想要开始跑的步行者和余下的3个步行者间当前的距离小，但是可以预料到将来的距离会变大。但是，以往的行驶信息提供装置将四个步行者作为相同小组来显示。因此，驾驶员难以对想要开始跑的步行者和余下的3个步行者分别进行目视确认。其结果是，在步行者实际上已经跑出去的时候驾驶员才注意到该步行者是有所延迟的，对安全驾驶造成障碍。如上所述，即使对象物间当前的距离在阈值以下，根据对象物间的将来的距离，有时也应该对对象物分别进行目视确认。但是，现有技术中，存在无法根据这种情况进行适宜的分组的课题。本专利技术的目的在于，例如对于按每个小组强调显示的对象物，汇总应该分别目视确认的对象物并适当地分类应该目视确认的对象物。用于解决技术问题的技术手段本专利技术的一个实施方式的图像处理装置包括：提取部，该提取部从拍摄了至少包含一个移动的对象物的多个对象物的拍摄图像中提取该多个对象物；预测部，该预测部预测由所述提取部提取出的多个对象物间的将来的距离；分类部，该分类部基于由所述预测部预测到的将来的距离将由所述提取部提取出的多个对象物分类成小组；以及处理部，该处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组强调显示由所述分类部分类后的多个对象物。专利技术效果本实施方式中，基于对象物间的将来的距离，将对象物分类成小组，而无关乎对象物间的当前的距离。因此，根据本专利技术，对于按每个小组强调显示的对象物，能够汇总应该分别目视确认的对象物并适当地分类应该目视确认的对象物。附图说明图1是表示实施方式1所涉及的车载显示系统的结构的框图。图2是表示实施方式1所涉及的车载显示系统的动作的流程图。图3是表示实施方式1的对象物数据的示例的图。图4是表示实施方式1所涉及的分类处理的步骤的流程图。图5是表示实施方式1的关系性表格的示例的表图6是表示实施方式1的强调显示图像的示例的图。图7是表示实施方式1的强调显示图像的示例的图。图8是表示实施方式1的强调显示图像的示例的图。图9是表示实施方式1的强调显示图像的示例的图。图10是表示实施方式2的关系性表格的示例的表图11是表示本专利技术的实施方式所涉及的车载显示系统的硬件结构的一个示例的图。具体实施方式以下，使用附图对本专利技术的实施方式进行说明。另外，各图中，对于相同或相当部分标注相同标号。实施方式的说明中，对相同或相当部分适当省略或简化其说明。实施方式1.首先，对本实施方式的概要进行说明。本实施方式中，被拍摄的对象物与对象物间的现在的距离无关，而是基于对象物间的将来的距离，被分类成若干小组，并按小组进行强调显示。在对象物分组时，考虑对象物间将来的距离。“强调显示”是指用框包围某一图像中的对象物，或者用颜色标注，从而在该图像内容易对对象物进行目视确认。作为对象物，有车辆、人类、动物这样的移动的对象物和标识、红绿灯、人行横道这样的不移动的对象物。作为车辆，有汽车，摩托车，自行车等。对象物具有属性。“属性”例如是对象物的类别以及距离以及速度。作为属性的一种的“类别”与对象物现在的状态无关，是能够区分对象物的特性或种类。例如，即使对象物现在没在移动但具有移动的能力的话，那该对象物的类别是移动的对象物。可认为类别具有阶层。例如，在移动的对象物的下层有车辆、人类、动物这样的下位的类别。在车辆的下层，有汽车，摩托车，自行车等进一步下位的类别。作为属性的一种的“距离”不是上述的“对象物间的现在的距离”和“对象物间的将来的距离”，而是从拍摄到对象物的地点到对象物的距离。例如，设定在互相靠近站着的4个步行者中，有1个步行者处于要开始跑的姿势。这种情况下，想要开始跑的步行者和余下的3个步行者间的当时的距离小，但是可以预料到将来的距离会变大。假设在4个人汇总作为相同小组进行强调显示的时候，难以对想要开始跑的人和余下的3个人分别进行目视确认。本实施方式中，考虑四个人之间的将来的距离，想要开始跑的人和余下的3个人被分类成不同的小组。于是，拍摄到四个人的图像被加工成下述图像，即，将一个人作为一个小组进行强调显示，将余下的三个人汇总作为另一小组进行强调显示。因此，观察到加工后的图像的人容易分别对想要开始跑的人和余下的3个人进行目视确认。本实施方式中，在对象物分组时，还考虑对象物间的关系性。例如，设为在远离停着的1辆车的位置，有一个人正朝向该车辆移动。该情况下，停着的车辆与朝向车辆的人之间的现在的距离较大，但是可以认为将来的距离成为0。并且，还认为，停着的车辆与朝向车辆的人之间具有车辆及乘坐该车辆的人这一关系性。假设在使1辆车和一个人作为不同的小组分别强调显示了的时候，难以对停着的车辆和朝向车辆的人进行汇总来目视确认。但是，在这种情况下，汇总两者进行目视确认更高效。本实施方式中，考虑到一辆车与一个人之间的关系性，将停着的车辆与朝向车辆的人分类成相同小组。于是，拍摄到一辆车和一个人的图像被加工成将一辆车和一个人汇总为一个小组来进行强调显示的图像。因此，观察到加工后的图像的人容易汇总地来目视确认停着的车辆和朝向车辆的人。例如，本实施方式能够适用于驾驶的辅助。本实施方式中，根据位于车辆周边的对象物的移动预测的结果、或者基于对象物之间的关系性推定的结果来分组，能够目视确认性较高地对车辆的周边状况进行显示。因此，有助于驾驶员的安全确认。接着，作为本实施方式的详细情况，依次说明本实施方式所涉及的系统的结构、本实施方式所涉及的系统的动作、本实施方式的效果。<结构的说明>图1是表示实施方式所涉及的车载显示系统100的结构的框图。如图1所示，车载显示系统100包括拍摄装置110、图像处理装置120、数据存储装置130、显示装置140。拍摄装置110例如是立体相机或雷达。拍摄装置110搭载于车辆200。拍摄装置110拍摄车辆200的周边以获得拍摄图像101。拍摄图像101是拍摄到至少包含一个移动的对象物的多个对象物的图像。图像处理装置120例如是计算机。图像处理装置120可以搭载于车辆200，可以由驾驶员拿到车辆200内，也可以设置在车辆200的外部。图像处理装置120包括提取部121、预测部122、分类部123、以及处理部124。提取部121从拍摄装置110获取拍摄图像101。提取部121从获取到的拍摄图像101提取多个对象物。如上所述，多个对象物包含至少一个移动的对本文档来自技高网...

【技术保护点】
一种图像处理装置，其特征在于，包括：提取部，该提取部从拍摄到至少包含一个移动的对象物的多个对象物的拍摄图像提取该多个对象物；预测部，该预测部预测由所述提取部提取出的多个对象物间的将来的距离；分类部，该分类部基于由所述预测部预测到的将来的距离将由所述提取部提取出的多个对象物分类成小组；以及处理部，该处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组强调显示经所述分类部分类后的多个对象物。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其特征在于，包括：提取部，该提取部从拍摄到至少包含一个移动的对象物的多个对象物的拍摄图像提取该多个对象物；预测部，该预测部预测由所述提取部提取出的多个对象物间的将来的距离；分类部，该分类部基于由所述预测部预测到的将来的距离将由所述提取部提取出的多个对象物分类成小组；以及处理部，该处理部将所述拍摄图像加工成强调显示图像，该强调显示图像中按小组强调显示经所述分类部分类后的多个对象物。2.如权利要求1所述的图像处理装置，其特征在于，所述分类部将由所述提取部提取出的多个对象物中由所述预测部预测出的彼此间将来的距离大于阈值的对象物分类成不同小组。3.如权利要求1所述的图像处理装置，其特征在于，所述分类部将由所述提取部提取出的多个对象物中由所述预测部预测出的彼此间将来的距离小于阈值的对象物分类成相同小组。4.如权利要求1所述的图像处理装置，其特征在于，所述提取部对提取出的多个对象物各自的类别进行判定，所述分类部基于由所述预测部预测出的将来的距离和由所述提取部所判定的类别，推定由所述提取部提取出的多个对象物间的关系性，根据推定出的关系性将该多个对象物分类成小组。5.如权利要求4所述的图像处理装置，其特征在于，所述提取部对判定为类别为车辆的对象物的当前的速度进行推定，所述分类部在由所述提取部提取出的多个对象物包含由所述提取部判定为类别为人的第1对象物、和由所述提取部判定出类别为车辆的第2对象物，由所述预测部预测出的所述第1对象物和所述第2对象物间的将来的距离小于阈值，由所述提取部推定出的所述第2对象物的当前速度大小为0的情况下，将所述第1对象物和所述第2对象物分类成相同小组。6.如权利要求4所述的图像处理装置，其特征在于，所述提取部计算提取出的多个对象物间的当前的距离，并推定判定为类别为移动的对象物的对象物的当前速度，所述分类部在由所述提取部提取出的多个对象物中存在由所述提取部判定出类别为移动的对象物的第1对象物和第2对象物，由所述提取部计算出的所述第1对象物与所述第2对象物间的当前的距离、与由所述预测部预测出的所述第1对象物和所述第2对象物间的将来的距离的差小于阈值，由所述提取部推定出的所述第1对象物与所述第2对象物的当前的速度大小比0大，由所述提取部推定出的所述第1对象物和所述第2对象物的当前的速度的大小的差小于其他阈值的情况下，将所述第1对象物和所述第2对象物分类成相同小组。7.如权利要求6所述的图像处理装置，其特征在于，所述第1对象物和所述第2对象物是由所述提取部判定出类别为自行车的对象物。8.如权利要求4所述的图像处理装置，其特征在于，所述提取部计算判定出类别为儿童或动物的对象物的动作的变化量，所述分...

【专利技术属性】
技术研发人员：佐佐木谅介，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本,JP