图像处理设备和图像处理方法技术

提供一种图像处理设备。对象检测单元被配置为从成像设备顺序输入的每个帧图像中检测对象。选择单元被配置为从多个分别的分割区域中包括的对象中选择位于最下部的对象，所述多个分别的分割区域构成帧图像并且沿左右方向并排存在。高亮图像生成单元被配置为生成用于将所述选择单元选择的对象高亮的高亮图像。

Image processing apparatus and image processing method

An image processing apparatus is provided. The object detection unit is configured to detect an object in each frame image sequentially inputted from the imaging device. The selection unit is configured to select the object located at the lowest part from an object included in a plurality of respective segmentation regions, wherein the plurality of respective segmented regions constitute a frame image and exist side by side in the left and right directions. The highlight image generation unit is configured to generate a highlighted image for highlighting the selected object of the selection unit.

【技术实现步骤摘要】
图像处理设备和图像处理方法
本专利技术涉及图像处理设备和图像处理方法。
技术介绍
相关技术中，存在这种图像显示设备，其被配置为检测由成像设备(如相机)顺序获取的每个帧图像中包括的障碍物，在帧图像上叠加用于围绕检测到的障碍物的边界图像，以及显示叠加图像。在这种图像处理设备在所有检测到的障碍物上叠加边界图像的情况下，帧图像可能变成用户难以看清的图像，或者使用户难以识别用户应注意的对象。为此，存在被配置为仅检测离成像设备最近的障碍物并通过记号等来高亮从帧图像检测出的障碍物的设备(如专利文献1)。专利文献1：日本专利申请公开No.2007-181129A然而，离成像设备最近的障碍物不是对用户有危险的唯一障碍物。例如，在离成像设备最近的障碍物在远离用户的方向上移动并且离成像设备次近的障碍物在向用户移动的情况下，离用户次近的障碍物也是对用户有危险的障碍物。因此，可以认为仅将离成像设备最近的障碍物高亮的帧图像是用于向用户通知危险障碍物的高质量信息。
技术实现思路
因此，本专利技术的目的在于，提供一种能够在防止信息量变得过大的同时提高向用户通知危险障碍物的信息的质量的图像处理设备和图像处理方法。根据本专利技术实施例的方案，提供一种图像处理设备，包括对象检测单元、选择单元和高亮图像生成单元。所述对象检测单元从成像设备顺序输入的每个帧图像中检测对象。所述选择单元从多个分别的分割区域中包括的对象中选择位于最下部的对象，所述多个分别的分割区域构成帧图像并且沿左右方向并排存在。所述高亮图像生成单元生成用于将所述选择单元选择的对象高亮的高亮图像。根据本专利技术，能够在防止信息量变得过大的同时提高向用户通知危险障碍物的信息的质量。附图说明将基于以下附图详细描述本专利技术的示例性实施例，附图中：图1是示出了根据实施例的图像处理方法的对比示例的示意图；图2是示出了根据实施例的图像处理设备的示意图；图3是示出了根据实施例的图像处理设备的配置的功能框图；图4是示出了根据实施例的3D对象检测单元的配置的功能框图；图5是示出了根据实施例的特征点模式静止对象点获取单元的配置的功能框图；图6A和6B是根据实施例的特征点模式的示意图；图7是根据实施例的特征点模式的另一示意图；图8是示出了根据实施例的背景差模式静止对象点获取单元的配置的功能框图；图9是示出了根据实施例的特征点图像生成单元的操作的示意图；图10是示出了根据实施例的分组单元和掩模单元的处理过程的示意图；图11是示出了根据实施例的分组单元和掩模单元的另一处理过程的示意图；图12是示出了根据实施例的图像处理的示例的示意图；图13是示出了根据实施例的图像处理的另一示例的示意图；图14是根据实施例的用于分组处理的阈值的示意图；图15是根据实施例的用于分组处理的其他阈值的示意图；图16A至16C是示出了根据实施例的掩模的形状的改变的示意图；图17是示出了根据实施例的组选择单元的配置的功能框图；图18是示出了根据实施例的由组选择单元和区域分割单元执行的操作的示例的示意图；图19是示出了根据实施例的由图像处理设备执行的处理的流程图；图20是示出了根据实施例的第一修改的图像处理设备的图像处理方法的示意图；图21是示出了根据实施例的第二修改的图像处理设备的图像处理方法的示意图；图22是示出了根据实施例的第三修改的图像处理设备的图像处理方法的示意图；以及图23是示出了根据实施例的第四修改的图像处理设备的图像处理方法的示意图。具体实施方式下文中，将参考附图详细描述根据本公开的实施例的图像处理设备和图像处理方法。但是，本专利技术不限于以下实施例。下文中，作为示例，将描述以下情况：根据实施例的图像处理设备对由车载相机对车后方连续成像所获取的图像(以下称为“帧图像”)进行图像处理，并向车内设置的显示设备输出处理后的帧图像。然而，被根据实施例的图像处理设备进行图像处理的图像不限于车后方的图像，并可以是车的前方、左侧或右侧的图像。此外，向根据实施例的图像处理设备发送图像的成像设备不限于车载相机，并且可以是安装在移动设备(如智能电话、数字相机、安装于街道或家中的安全防护相机等)上的相机模块。下文中，首先描述根据实施例的图像处理方法的对比示例，然后描述根据实施例的图像处理方法和图像处理设备。图1是示出了根据实施例的图像处理方法的第一对比示例的示意图，并且图2是示出了根据实施例的图像处理方法的示意图。如图1的(a)所示，在对比示例中，如果获得通过车载相机对车后方成像而获取的帧图像P，首先，从帧图像P中检测多个对象(以下代表性称为“三维对象”)A、B、C、D、E和F。该情况下，例如，如图1的(b)所示，该对比示例在帧图像上叠加围绕所检测出的三维对象的边界图像(如图1的(b)中的粗体线所示的矩形边界)，从而能够向车辆用户通知在车后方存在可能与车相撞的三维对象。然而，在如图1的(b)所示的在所检测出的全部三维对象A、B、C、D、E和F上叠加边界图像的情况下，要向用户通知的信息量变得过大。因此，该对比示例不是优选的。具体地，在该对比示例中，由于在所检测出的全部三维对象A、B、C、D、E和F上叠加边界图像，存在帧图像P变成用户难以看清的图像或者使用户难以识别尤其需要注意的对象的问题。因此，为解决上述问题，另一对比示例从所检测出的三维对象A、B、C、D、E和F中选择离车最近并位于帧图像P的最下部的三维对象B，并仅对三维对象B叠加边界图像，如图1的(c)所示。然而，在通过边界图像仅将位于帧图像P最下部的三维对象B高亮的情况下，又产生以下新问题。具体地，在图1的(c)示出的示例的情况下，当离车载相机最近的三维对象B在远离车辆的方向上移动，并且离车载相机次近的三维对象A向用户移动时，离车载相机次近的三维对象A也有和车相撞的高风险。此外，即使每个三维对象都是静止对象，例如在车辆向三维对象D移动的情况下，用户也需要关注三维对象D。简言之，离车最近的三维对象B不是对用户有危险的唯一障碍物。因此，如果获取和图2的(a)示出的对比示例中的帧图像相同的帧图像P，则与对比示例类似，首先，根据实施例的图像处理方法从帧图像P中检测多个三维对象A、B、C、D、E和F。接下来，根据实施例的图像处理方法将帧图像分割为沿左右方向并排存在的多个(这里3个)分割区域a1、a2和a3。然后，针对分割区域a1、a2和a3中的每一个，根据实施例的图像处理方法选择位于最下部的三维对象。在图2的(b)示出的示例中，根据实施例的图像处理方法从分割区域a1中选择三维对象A，从分割区域a2中选择三维对象B，以及从分割区域a3中选择三维对象D。接下来，根据实施例的图像处理方法在从分割区域a1、a2和a3选出的三个三维对象A、B和D上叠加边界图像。如上所述，根据实施例的图像处理方法可以向用户通知不仅存在包括在帧图像P中且离车辆最近的三维对象B，还存在在帧图像P中与三维对象B沿左右方向相隔且离车辆相对较近的三维对象A和D。此外，根据实施例的图像处理方法不向用户通知存在离车辆相对较远的三维对象C、E和F。因此，可以抑制帧图像P变得不显著或使用户难以识别用户应注意的对象的问题。因此，根据实施例的图像处理方法可以在防止信息量变得过大的同时提高向用户通知危险障碍物的信息的质量。此外，图2中示出的3D对象选择方法是示本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：对象检测单元，被配置为从成像设备顺序输入的每个帧图像中检测对象；选择单元，被配置为从多个分别的分割区域中包括的对象中选择位于最下部的对象，所述多个分别的分割区域构成帧图像并且沿左右方向并排存在；以及高亮图像生成单元，被配置为生成用于将所述选择单元选择的对象高亮的高亮图像。

【技术特征摘要】
2015.10.27 JP 2015-2111001.一种图像处理设备，包括：对象检测单元，被配置为从成像设备顺序输入的每个帧图像中检测对象；选择单元，被配置为从多个分别的分割区域中包括的对象中选择位于最下部的对象，所述多个分别的分割区域构成帧图像并且沿左右方向并排存在；以及高亮图像生成单元，被配置为生成用于将所述选择单元选择的对象高亮的高亮图像。2.根据权利要求1所述的图像处理设备，其中，所述选择单元从每个分割区域中包括的对象中选择属于底部具有中心点的区域的对象，所述中心点位于对应的分割区域的最下部。3.根据权利要求2所述的图像处理设备，还包括下方区域设置单元，所述下方区域设置单元被配置为：将从对位于每个分割区域的最下部的对象进行围绕的区域的底部至朝向帧图像的顶部与对应的区域的底部相距预定距离的位置的区域设置为下方区域，其中，所述选择单元还从每个分割区域中包括的对象中选择底部具有位于由所述下方区域设置单元设置的下方区域中的中心点的对象。4.根据权利要求3所述的图像处理设备，其中，帧图像的分割区域的数目是可变的，以及其中，所述下方区域设置单元在帧图像的分割区域的数目增加的情况下降低下方区域的预定距离，并且在帧图像的分割区域...

【专利技术属性】
技术研发人员：松本裕生，三野敦，垣田直士，
申请(专利权)人：富士通天株式会社，
类型：发明
国别省市：日本,JP