可用泊车位识别装置、可用泊车位识别方法和程序制造方法及图纸

本发明专利技术的目的是：旨在实现在不会受到泊车位的环境的影响的情况下与人类感觉相近的快速且顺畅的泊车辅助。本发明专利技术的技术方案在于：生成具有多个像素单位的3D语义分割图像，所述多个像素单位中的每个像素单位都包括深度数据和类别信息；基于所述3D语义分割图像来搜索可用的泊车位；以及规划去往所搜索到的泊车位的路径并且对车辆进行控制。本发明专利技术可以适用于泊车辅助系统。泊车辅助系统。泊车辅助系统。

【技术实现步骤摘要】
【国外来华专利技术】可用泊车位识别装置、可用泊车位识别方法和程序


[0001]本专利技术涉及信息处理装置、信息处理方法和程序，更具体地，涉及不会受到泊车位(parking space)的环境的影响且能够实现接近于人类感觉的快速且顺畅的泊车辅助的信息处理装置、信息处理方法和程序。
[0002]相关申请的交叉参考
[0003]本申请要求2020年12月21日提交的美国优先权专利申请US 63/128297和2021年3月5日提交的日本优先权专利申请JP 2021
‑
035452的权益，它们的全部内容通过引用而被并入本文中。

技术介绍

[0004]近年来，人们对泊车辅助系统越来越感兴趣。在日常的各种驾驶场景中存在着使车辆泊车的场面，并且目前需要更安全、更舒适且更便利的泊车辅助系统。
[0005]例如，已经提出了一种基于相机图像来检测泊车位、且针对已检测到的泊车位执行用于泊车的泊车辅助的技术(参见专利文献1)。
[0006]引用列表
[0007][专利文献][0008][专利文献1]：日本专利申请特开JP 2017
‑
111803A

技术实现思路

[0009][要解决的技术问题][0010]然而，在专利文献1所记载的技术中，在执行泊车位的检测时没有考虑深度信息。
[0011]因此，在如果无法识别深度就难以执行泊车位的检测的情形下，难以以与人类在检测泊车位时的感觉相近的感觉来判别泊车位，于是恐怕就难以实现顺畅的泊车辅助。
[0012]本专利技术是鉴于上述这种状况而做出的，并且特别地，本专利技术不会受到泊车位的环境的影响而能够实现接近于人类感觉的快速且顺畅的泊车辅助。
[0013][解决问题的技术方案][0014]根据本专利技术一个方面的信息处理装置和程序是如下这样的信息处理装置和程序，其包括电路，所述电路被配置为：接收车辆的周围环境的图像数据；接收所述车辆的所述周围环境的深度数据(depth data)；基于所述图像数据和所述深度数据来生成具有多个像素单位的3D语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及基于所述3D语义分割图像来搜索可用的泊车位。
[0015]根据本专利技术一个方面的信息处理方法是如下这样的信息处理方法，其包括：生成车辆的周围环境的图像数据；生成所述车辆的所述周围环境的深度数据；基于所述图像数据和所述深度数据来生成具有多个像素单位的3D语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；以及基于所述3D语义分割图像来搜索可用的泊车位。
[0016]在本专利技术一个方面中，获取车辆的周围环境的图像数据，获取所述车辆的所述周围环境的深度数据，生成具有多个像素单位的3D语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息，并且基于所述3D语义分割图像来搜索可用的泊车位。
附图说明
[0017]图1是用于说明泊车辅助功能的限制的图。
[0018]图2是用于说明通过泊车辅助功能实现的驾驶辅助的示例的图。
[0019]图3是用于说明应用了本专利技术的技术的泊车辅助功能的概要的图。
[0020]图4是示出了车辆控制系统的构造示例的框图。
[0021]图5是示出了感测区域的示例的图。
[0022]图6是用于说明本专利技术的泊车辅助控制部的构造示例的图。
[0023]图7是用于说明图6中的3D语义分割处理部的构造示例的图。
[0024]图8是示出了3D语义分割信息的图。
[0025]图9是用于说明泊车位的检测示例的图。
[0026]图10是用于说明泊车位的检测示例的图。
[0027]图11是用于说明3D语义分割信息生成处理的流程图。
[0028]图12是用于说明泊车辅助处理的流程图。
[0029]图13是用于说明泊车位搜索模式处理的流程图。
[0030]图14是用于说明泊车模式处理的流程图。
[0031]图15是用于说明通用计算机的构造示例的图。
具体实施方式
[0032]下面将会参照附图来详细说明本专利技术的优选实施方案。请注意，在本说明书和附图中，向具有实质上相同的功能构造的构成要素赋予了相同的附图标记，且因此省略了对它们的重复说明。
[0033]在下文中，将会说明用于实施本技术的方式。将会按照以下顺序给出说明。
[0034]1.本专利技术的概要
[0035]2.车辆控制系统的构造
[0036]3.用于实现本专利技术的泊车辅助功能的泊车辅助控制部的构造示例
[0037]4.通过软件来运行的示例
[0038][1.本专利技术的概要][0039]下面将会说明，通过应用本专利技术的技术，能够在不会受到泊车位的环境的影响的情形下实现接近于人类感觉的快速且顺畅的泊车辅助的技术的概要。
[0040]关于诸如识别泊车位且自动泊车或引导到最佳泊车路径等泊车辅助功能，虽然已经以各种形式进行了商业化，但是在任何一种情况下都强加有各种各样的限制。
[0041]例如，在第一泊车辅助功能中，如图1中的虚线所示，无论泊车位是否已经被访问过(即，即使在未预先登记于车辆中的泊车位处)，都可以泊车；然而，对于没有白线或者具有模糊不清的白线的泊车位，则不能泊车。
[0042]此外，例如，在第二泊车辅助功能中，如图1中的点划线所示，无论是否存在白线，对于有白线的泊车位或没有白线的泊车位，都可以泊车。然而，第二泊车辅助功能仅仅对之前已经访问过的泊车位(即，已预先登记在车辆中的泊车位)发挥作用。
[0043]也就是说，为了实现上述泊车辅助功能，设定了与下列两者分别对应的情况：目标泊车位是否存在有白线；以及该泊车位是否已经被预先登记。注意，在图1中，横轴代表白线的有无(是否存在有白线)的程度，并且纵轴代表被执行事件的有无(是否已经预先登记)的程度。
[0044]因此，在根据本专利技术的泊车辅助功能中，如图1中的实线所示，不管目标泊车位是否已被预先登记在车辆中(目标泊车位是否已经被访问过)或者是否存在有白线，通过适当地识别诸如泊车位或已停泊车辆的方向(并排式泊车或纵列式泊车)等周边状况，都能够如同由人类执行的泊车操作一样地实现快速且顺畅的泊车辅助。
[0045]例如，如图2的左部所示，将会考虑当在车身的左右两侧设置有诸如相机等传感器Sc1
‑
1和Sc1
‑
2的车辆C1在泊车位SP1处进行泊车时的泊车辅助。
[0046]注意，在图2中，该图中的等腰三角形标记的等腰边所示出的凸部的方向被假定为车辆C1的前方。
[0047]如图2的左部所示，车辆C1必须至少一次经过泊车位SP1的前方，以便通过安装于左侧的传感器Sc1
‑
1来检测作为可泊车的空位的泊车位SP1的位置。
[0048]此外，例如，如图2的右部所示，将会考虑当在车身的左右两侧设置有诸如超声波传感器等本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，其包括电路，所述电路被配置为：接收车辆的周围环境的图像数据；接收所述车辆的所述周围环境的深度数据；基于所述图像数据和所述深度数据来生成具有多个像素单位的3D语义分割图像，所述多个像素单位中的每个像素单位都包括所述深度数据和类别信息；并且基于所述3D语义分割图像来搜索可用泊车位。2.根据权利要求1所述的信息处理装置，其中所述电路被配置为：基于所述图像数据和所述深度数据来生成以像素为基础的深度数据；并且通过基于所述以像素为基础的深度数据对所述图像数据执行3D语义分割处理来生成所述3D语义分割图像，所述类别信息是由所述3D语义分割处理进行分类的。3.根据权利要求2所述的信息处理装置，其中所述电路被配置为：基于所述深度数据来提取点云特征量；并且通过基于所述点云特征量对所述图像数据执行所述3D语义分割处理来生成所述3D语义分割图像。4.根据权利要求3所述的信息处理装置，其中所述电路被配置为：从所述图像数据中提取图像特征量；并且基于所述深度数据和所述图像特征量来提取所述点云特征量。5.根据权利要求4所述的信息处理装置，其中所述电路被配置为：基于所述图像特征量来生成稠密深度数据；并且基于所述深度数据和所述稠密深度数据来提取所述点云特征量。6.根据权利要求5所述的信息处理装置，其中所述电路被配置为：基于所述深度数据来生成3D锚定网格；通过融合所述稠密深度数据和所述3D锚定网格来生成稠密融合数据；并且基于所述图像特征量和所述稠密融合数据来提取所述点云特征量。7.根据权利要求4所述的信息处理装置，其中所述电路被配置为：接收由雷达探测到的雷达探测结果，所述雷达具有围绕所述车辆的视野；从所述雷达探测结果中提取雷达探测结果特征量；并且通过基于所述点云特征量、所述图像特征量和所述雷达探测结果特征量对所述图像数据执行所述3D语义分割处理来生成所述3D语义分割图像。8.根据权利要求7所述的信息处理装置，其中所述深度数据是由光学测距传感器生成的；并且所述电路被配置为：在由所述光学测距传感器生成的所述深度数据的可靠性程度等于
或小于预定阈值的情况下，基于所述雷达探测结果特征量对所述图像数据执行所述3D语义分割处理。9.根据权利要求7所述的信息处理装置，其中所述雷达探测结果包括：所述车辆的所述周围环境中的物体在移动时的速度信息。10.根据权利要求1所述的信息处理装置，其中所述电路被配置为：通过对所述图像数据执行2D语义分割处理来生成2D语义分割图像；基于所述图像数据和所述深度数据来生成以像素为基础的深度数据；并且基于所述2D语义分割图像和所述以像素为基础的深度数据来生成所述3D语义分割图像。11.根据权利要求2所述的信息处理装置，其中所...

【专利技术属性】
技术研发人员：今井秀明，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：