车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法制造方法及图纸

本发明专利技术的车辆周边图像生成装置中，ECU(2)基于由搭载于车辆(7)的多个摄像头(1)所拍摄到的多个图像，来生成包含车辆(7)和车辆周边在内的俯瞰图像。合成方法选择部(23)在多个摄像头(1)的拍摄区域的重复部分中所存在的物体(8)与车辆(7)之间的距离在阈值以内、且物体(8)存在于车辆(7)的行进方向上的情况下，选择第1合成方法。第1合成方法中，将重复部分分割为2组路面图像和物体图像，对于2组中的一方为物体图像、另一方为路面图像的区域，将物体图像的α值设为1、将路面图像的α值设为0并利用α混合来合成，以生成俯瞰图像。以生成俯瞰图像。以生成俯瞰图像。

【技术实现步骤摘要】
【国外来华专利技术】车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法


[0001]本申请涉及车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法。

技术介绍

[0002]在具备车辆周边图像生成装置的车辆周边显示系统中，对由多个车载摄像头拍摄车辆周边而得的图像进行合成，并生成包含车辆和车辆周边在内的俯瞰图像。驾驶员根据显示装置中所显示的俯瞰图像，来识别存在于车辆周边的人或物体等。例如，专利文献1中公开了如下内容：对于多个输入图像中所包含的同一拍摄区域，按照一定的规则交替采用各输入图像的像素信息，并输出合成图像。
[0003]在合成多个图像来生成俯瞰图像时，2个摄像头的拍摄区域的边界部分的图像重复。现有的合成方法中，对于该重复部分，将各图像的合成的比例(以下称为α值)设定为0＜α＜1。这样利用某个固定的α值来合成2个图像的技法称为α混合。在α混合中，例如，在将α值设定为0.5的情况下，成为将2个图像的重复部分的像素的颜色分别逐一混合50％而得的颜色，并合成均匀的图像。现有技术文献专利文献
[0004]专利文献1：日本专利特开2003－169323号公报

技术实现思路

专利技术所要解决的技术问题
[0005]现有的车辆周边图像生成装置中，在合成俯瞰图像时，利用α混合使2个图像的重复部分透过来合成，但此时不论图像中是否存在物体，α值都已被设定。因此存在如下问题：在俯瞰图像中，各摄像头的拍摄区域的重复部分中所存在的物体的一部分变得模糊而变成不清晰的图像。此外，在α混合中，即使对重复部分进行与距彼此的拍摄中心的距离成比例的加权，物体也会变模糊。
[0006]本申请公开用于解决上述问题的技术，其目的在于获得一种车辆周边图像生成装置，能生成清晰的俯瞰图像，且多个拍摄装置的拍摄区域的重复部分中所存在的物体不会模糊。此外，其目的还在于得到一种车辆周边显示系统和车辆周边显示方法，能清晰地显示拍摄区域的重复部分中所存在的物体。用于解决技术问题的技术手段
[0007]本申请所公开的车辆周边图像生成装置基于由搭载于车辆的多个拍摄装置所拍摄到的多个图像，来生成包含车辆与车辆周边在内的俯瞰图像，该车辆周边图像生成装置包括：物体距离判定部，该物体距离判定部基于由检测车辆周边的物体的传感器所获取到的物体信息，来判定物体与车辆之间的距离是否在阈值以内；图像转换部，该图像转换部将多个图像分别转换为俯瞰图像用的图像；图像分割部，该图像分割部在多个拍摄装置的拍
摄区域的重复部分中存在物体的情况下，将俯瞰图像用的图像的重复部分分别分割为路面图像和物体图像；以及图像合成部，该图像合成部将由图像转换部所得到的俯瞰图像用的图像、以及由图像分割部分别得到的路面图像和物体图像的全部或一部分合成来生成俯瞰图像。
[0008]本申请所公开的车辆周边显示系统包括：搭载于车辆并拍摄车辆周边的多个拍摄装置；检测车辆周边的物体的传感器；基于拍摄装置所拍摄到的多个图像来生成包含车辆和车辆周边在内的俯瞰图像的车辆周边图像生成装置；以及对车辆周边图像生成装置所生成的俯瞰图像进行显示的显示部，车辆周边图像生成装置包括：物体距离判定部，该物体距离判定部基于由传感器所获取到的物体信息，来判定物体与车辆之间的距离是否在阈值以内；图像转换部，该图像转换部将多个图像分别转换为俯瞰图像用的图像；图像分割部，该图像分割部在多个拍摄装置的拍摄区域的重复部分中存在物体的情况下，将俯瞰图像用的图像的重复部分分别分割为路面图像和物体图像；以及图像合成部，该图像合成部将由图像转换部所得到的俯瞰图像用的图像、以及由图像分割部分别得到的路面图像和物体图像的全部或一部分合成来生成俯瞰图像。
[0009]本申请所公开的车辆周边显示方法生成包含车辆与车辆周边在内的俯瞰图像并进行显示，该车辆周边显示方法包括：信息获取步骤，获取拍摄车辆周边而得的多个图像的图像信息、包含车辆周边的物体的位置信息的物体信息、以及包含车辆的行进方向和速度的车辆行进信息；图像转换步骤，将信息获取步骤中获取到的多个图像分别转换为俯瞰图像用的图像；路面颜色检测步骤，在多个图像的重复部分中存在物体、且物体与车辆之间的距离在阈值以内的情况下，对重复部分的路面颜色进行检测；图像分割步骤，基于路面颜色检测步骤中检测出的路面颜色，将俯瞰图像用的图像的重复部分分别分割为路面图像和物体图像；图像合成步骤，将图像转换步骤中所得到的俯瞰图像用的图像、以及图像分割步骤中分别得到的路面图像和物体图像的全部或一部分合成来生成俯瞰图像；以及显示步骤，对图像合成步骤中所生成的俯瞰图像进行显示。专利技术效果
[0010]根据本申请所公开的车辆周边图像生成装置，在多个摄像头的拍摄区域的重复部分中存在物体的情况下，将重复部分分别分割为路面图像和物体图像，并将俯瞰图像用的图像、路面图像和物体图像合成来生成俯瞰图像，因此，重复部分中所存在的物体不会模糊，能生成清晰的俯瞰图像。
[0011]根据本申请所公开的车辆周边显示系统，在多个摄像头的拍摄区域的重复部分中存在物体的情况下，将重复部分分别分割为路面图像和物体图像，并将俯瞰图像用的图像、路面图像和物体图像合成来生成俯瞰图像，因此，重复部分中所存在的物体不会模糊，能显示清晰的俯瞰图像。
[0012]根据本申请所公开的车辆周边显示方法，在多个图像的重复部分中存在物体、且物体与车辆之间的距离在阈值以内的情况下，将重复部分分别分割为路面图像和物体图像，并将俯瞰图像用的图像、路面图像和物体图像合成来生成俯瞰图像，因此，重复部分中所存在的物体不会模糊，能显示清晰的俯瞰图像。本申请的上述以外的目的、特征、观点及效果通过参照附图的以下详细说明将变得更明确。
附图说明
[0013]图1是示出实施方式1中的车辆周边显示系统的结构的框图。图2是示出实施方式1中的车辆周边图像生成装置的结构的框图。图3是示出实施方式1中的车辆周边图像生成装置的硬件结构例的图。图4是说明实施方式1中的车辆周边图像生成装置所进行的图像合成方法的图。图5是说明实施方式1中的车辆周边图像生成装置所进行的图像合成方法的图。图6是示出实施方式1中的车辆周边显示系统的显示部所显示的俯瞰图像的示例的图。图7是示出比较例中的车辆周边显示系统的显示部所显示的俯瞰图像的示例的图。图8是说明实施方式1中的车辆周边显示系统所进行的处理的流程的图。图9是说明实施方式2中的车辆周边图像生成装置所进行的图像合成方法的选择方法的图。图10是说明实施方式2中的车辆周边图像生成装置所进行的图像合成方法的选择方法的图。图11是说明实施方式2中的车辆周边显示系统所进行的处理的流程的图。
具体实施方式
[0014]实施方式1.以下，基于附图对实施方式1所涉及的车辆周边图像生成装置和车辆周边显示系统进行说明。图1是示出实施方式1中的车辆周边显示系统的结构的框图，图2是示出实施方式1中的车辆周边图像生成装置的结构的框图，图3是示出车辆周边图像生成装置的硬件结构例的图，图4和图5是说明车辆周边图像生成装置所进行的图像合成方法的图。另外，图中，对相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种车辆周边图像生成装置，基于由搭载于车辆的多个拍摄装置所拍摄到的多个图像，来生成包含车辆与车辆周边在内的俯瞰图像，所述车辆周边图像生成装置的特征在于，包括：物体距离判定部，该物体距离判定部基于由检测所述车辆周边的物体的传感器所获取到的物体信息，来判定所述物体与所述车辆之间的距离是否在阈值以内；图像转换部，该图像转换部将多个所述图像分别转换为俯瞰图像用的图像；图像分割部，该图像分割部在多个所述拍摄装置的拍摄区域的重复部分中存在所述物体的情况下，将所述俯瞰图像用的图像的所述重复部分分别分割为路面图像和物体图像；以及图像合成部，该图像合成部将由所述图像转换部所得到的所述俯瞰图像用的图像、以及由所述图像分割部分别得到的所述路面图像和所述物体图像的全部或一部分合成来生成所述俯瞰图像。2.如权利要求1所述的车辆周边图像生成装置，其特征在于，包含帧同步部，该帧同步部使从所述拍摄装置获取到的图像信息、从所述传感器获取到的物体信息、以及包含所述车辆的行进方向和速度在内的车辆行进信息同步。3.如权利要求2所述的车辆周边图像生成装置，其特征在于，包含合成方法选择部，该合成方法选择部基于由所述帧同步部同步后的图像信息、物体信息和车辆行进信息，来选择所述图像合成部中的所述俯瞰图像的合成方法。4.如权利要求3所述的车辆周边图像生成装置，其特征在于，所述合成方法选择部在所述重复部分中存在所述物体、且所述物体与所述车辆之间的距离在所述阈值以内的情况下，选择使用所述俯瞰图像用的图像、所述路面图像和所述物体图像的第1合成方法，在所述重复部分中不存在所述物体的情况下、或所述物体与所述车辆之间的距离比所述阈值要大的情况下，选择使用所述俯瞰图像用的图像的第2合成方法。5.如权利要求4所述的车辆周边图像生成装置，其特征在于，所述合成方法选择部在所述物体存在于所述车辆的行进方向上的情况下，选择所述第1合成方法，在所述物体不存在于所述车辆的行进方向上的情况下，选择所述第2合成方法。6.如权利要求1至5中任一项所述的车辆周边图像生成装置，其特征在于，包含检测所述重复部分的路面颜色的路面颜色检测部，所述图像分割部基于所述路面颜色检测部所检测出的所述路面颜色，将所述重复部分分割为所述路面图像和所述物体图像。7.如权利要求1至6中任一项所述的车辆周边图像生成装置，其特征在于，所述图像合成部利用α混合来进行图像的合成，在所述重复部分中存在所述物体的情况下，使用由所述图像分割部所得到的2组所述路面图像和所述物体图像，对于所述2组中的一方为所述物体图像、另一方为所述路面图像的区域，将所述物体图像的α值设定为1、将所述路面图像的α值设定为0。8.如权利要求1至7中任一项所述的车辆周边图像生成装置，其特征在于，所述物体距离判定部中所使用的所述阈值基于从所述俯瞰图像中的所述车辆的端部起到显示所述俯瞰图像的显示部的画面端为止的距离来设定。9.一种车辆周边显示系统，包括：
搭载于车辆并拍摄车辆周边的多个拍摄装置；检测所述车辆周边的物体的传感器；基于所述拍摄装置所拍摄到的多个图像来生成包含车辆和所述车辆周边在内的俯瞰图像的车辆周边图像生成装置；以及对所述车辆周边图像生成装置所生成的所述俯瞰图像进行显示的显示部，所述车辆周边显示系统的特征在于，所述车辆周边图像生成装置包括：物体距离判定部，该物体距离判...

【专利技术属性】
技术研发人员：大西健太，森考平，竹原成晃，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：