信号处理设备和信号处理方法、程序及移动体技术

本公开涉及使得能够以高精度检测移动体的可移动区域的信号处理设备和信号处理方法、程序以及移动体。根据本发明专利技术，基于由相机捕获的图像中的语义分割单元信息，图像中移动体的可移动区域的边界存在的区域被估计为图像可移动区域边界。基于由深度传感器检测到的距离图像，距离图像中移动体的可移动区域的边界存在的区域被估计为距离图像可移动区域边界。基于图像可移动区域边界和距离图像可移动区域边界来确定可移动区域的边界。基于所确定的可移动区域的边界来生成环境地图。本公开可以应用于车内系统。

【技术实现步骤摘要】
【国外来华专利技术】信号处理设备和信号处理方法、程序及移动体
本公开涉及信号处理设备和信号处理方法、程序以及移动体，尤其涉及能够以高精度检测移动体的可移动区域的信号处理设备和信号处理方法、程序以及移动体。
技术介绍
已经提出了用于使诸如车辆或机器人之类的移动体自主移动的各种技术。当使移动体自主移动时，从由相机等捕获的移动体的移动方向的图像中检测可移动区域，基于检测到的可移动区域的信息来生成诸如占用栅格图(occupancygridmap)之类的局部地图，并计划移动。作为检测可移动区域的技术，已经提出了这样的技术：该技术使用由激光雷达(包括LiDAR)得到的点云信息(3D点云信息)和由相机捕获的图像来估计道路表面边界(可行驶区域)(参见专利文献1)。更具体而言，基于激光雷达的点云信息中的高度信息来确定三维结构，以生成占用栅格图。此外，基于由相机捕获的图像，提取在消失点方向上延伸的边缘。然后，将占用栅格图的可行驶区域的边界与图像边缘进行比较，并且在三维对象的脚处提取要成为道路表面边界的边缘。基于包括由此获得的边缘的道路表面边界来检测可移动区域。引文列表专利文件专利文献1：日本专利申请特许公开2014-006588
技术实现思路
本专利技术要解决的问题但是，根据专利文献1的技术的基于由相机捕获的图像的边缘检测容易被阴影、噪声等干扰，并且由于激光雷达的虚假点，占用栅格图也容易被噪声影响。本公开是鉴于这样的情况做出的，并且特别是为了以高精度检测移动体的可移动区域的边界。问题的解决方案根据本公开的一个方面的信号处理设备包括：加标签边界估计单元，其基于根据所捕获的图像中被摄体的类型的加标签信息将图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；距离图像边界估计单元，其基于距离图像将距离图像中可移动区域的边界存在的区域估计为距离图像边界；以及可移动区域边界确定单元，其基于加标签信息边界和距离图像边界来确定可移动区域的边界。根据本公开的一个方面的信号处理方法包括：加标签边界估计处理，其基于根据所捕获的图像中被摄体的类型的加标签信息将图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；距离图像边界估计处理，其基于距离图像将距离图像中可移动区域的边界存在的区域估计为距离图像边界；以及可移动区域边界确定处理，其基于加标签信息边界和距离图像边界来确定可移动区域的边界。根据本公开的一个方面的程序是一种程序，该程序使计算机用作：加标签边界估计单元，其基于根据所捕获的图像中被摄体的类型的加标签信息将图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；距离图像边界估计单元，其基于距离图像将距离图像中可移动区域的边界存在的区域估计为距离图像边界；以及可移动区域边界确定单元，其基于加标签信息边界和距离图像边界来确定可移动区域的边界。根据本公开的一个方面的移动体包括：加标签边界估计单元，其基于根据所捕获的图像中被摄体的类型的加标签信息将图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；距离图像边界估计单元，其基于距离图像将距离图像中可移动区域的边界存在的区域估计为距离图像边界；可移动区域边界确定单元，其基于加标签信息边界和距离图像边界来确定可移动区域的边界；环境映射单元，其基于由可移动区域边界确定单元确定的可移动区域的边界来生成环境地图；计划单元，其基于环境地图来生成行动计划；以及控制单元，其基于生成的行动计划来控制移动体的动作。在本公开的一个方面中，基于根据所捕获图像中的被摄体的类型的加标签信息将图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界，基于距离图像将距离图像中可移动区域的边界存在的区域估计为距离图像边界，并基于加标签信息边界和距离图像边界来确定可移动区域的边界。专利技术的效果根据本公开的一个方面，可以以高精度检测移动体的可移动区域的边界。附图说明图1是描述根据本公开的用于检测可移动区域的边界的方法的概要的图。图2是描述语义分割中的错误的图。图3是描述由深度传感器对障碍物的检测遗漏错误的图。图4是描述在考虑语义分割中的错误和深度传感器中的错误时检测可移动区域的方法的图。图5是描述在本公开的移动体是车辆的情况下作为移动体控制系统的示例的车辆控制系统的配置示例的框图。图6是描述在本公开的移动体是机器人的情况下作为移动体控制系统的示例的机器人控制系统的配置示例的框图。图7是描述图5或图6中的情况识别单元的配置示例的图。图8是描述语义分割的图。图9是描述距离图像的坐标转换的图。图10是描述深度可移动区域边界成本的图。图11是描述用于获得深度可移动区域边界成本的具体方法的图。图12是描述图像可移动区域边界成本的图。图13是描述用于估计可移动区域边界的方法的图。图14是描述用于生成环境地图的方法的图。图15是描述在生成环境地图时用于计算距离的方法的图。图16是描述自动驾驶控制处理的流程图。图17是描述环境地图生成处理的流程图。图18是描述通用计算机的配置示例的图。具体实施方式在下文中，将参考附图详细描述本公开的优选实施例。注意的是，在说明书和附图中，具有大致相同的功能和配置的组件由相同的附图标记表示，并且省略重复的描述。在下文中，将描述用于执行本技术的实施例。将按照以下次序进行描述。1.本公开的优选实施例2.由软件执行的示例<<1.本公开的优选实施例>><用于检测可移动区域的边界的方法的概要>首先，参考图1，将描述根据本公开的用于检测可移动区域的边界的方法的概述。在本公开的移动体中，包括单眼相机11和包括LiDAR(光检测和测距、激光成像检测和测距)、激光雷达等、飞行时间(ToF)和立体相机的深度传感器12，并且由相机11捕获的图像和基于由深度传感器12检测到的点云信息的距离图像(深度图像)被用于获得图像中的可移动区域并生成适当的环境地图。更具体而言，如图1中所示，针对由相机11捕获的图像P11，以像素为单位对被摄体的类型进行分类，并且向分类结果给予标签。在捕获如图1的图像P11中所示的图像的情况下，如图像P13中所示，属于区域Z31的每个像素被给予指示道路表面31的类型的标签，属于区域Z32-1和Z32-2的每个像素被给予指示墙壁32-1和32-2的类型的标签，而属于区域Z33-1和Z33-2的每个像素被给予指示固定结构33-1和33-2的类型的标签。此外，属于区域Z34的每个像素被给予指示天空34的类型的标签，而属于区域Z35的每个像素被给予指示人35的类型的标签。注意的是，假设图像中的透镜失真等已经被预先校正。此外，基于由深度传感器12检测到的点云信息获得距离图像P12，其中每个像素的像素值包括到被摄体的距离信息。注本文档来自技高网...

【技术保护点】
1.一种信号处理设备，包括：/n加标签边界估计单元，所述加标签边界估计单元基于根据所捕获的图像中被摄体的类型的加标签信息将所述图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；/n距离图像边界估计单元，所述距离图像边界估计单元基于距离图像将所述距离图像中所述可移动区域的边界存在的区域估计为距离图像边界；以及/n可移动区域边界确定单元，所述可移动区域边界确定单元基于所述加标签信息边界和所述距离图像边界来确定所述可移动区域的边界。/n

【技术特征摘要】
【国外来华专利技术】20180329 JP 2018-0635301.一种信号处理设备，包括：
加标签边界估计单元，所述加标签边界估计单元基于根据所捕获的图像中被摄体的类型的加标签信息将所述图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；
距离图像边界估计单元，所述距离图像边界估计单元基于距离图像将所述距离图像中所述可移动区域的边界存在的区域估计为距离图像边界；以及
可移动区域边界确定单元，所述可移动区域边界确定单元基于所述加标签信息边界和所述距离图像边界来确定所述可移动区域的边界。


2.根据权利要求1所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界存在的区域估计为所述加标签信息边界。


3.根据权利要求1所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息和所述距离图像来估计所述加标签信息边界。


4.根据权利要求3所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界设置为所述可移动区域的边界，并且还通过根据基于所述距离图像的距离设置基于所述加标签信息设置的所述可移动区域的边界的垂直方向的宽度来将所述可移动区域的边界估计为加标签信息边界。


5.根据权利要求3所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界设置为所述可移动区域的边界，并且还通过根据基于所述距离图像的距离设置基于所述加标签信息设置的所述可移动区域的边界的垂直方向的宽度来将所述可移动区域的边界估计为加标签信息边界。


6.根据权利要求1所述的信号处理设备，其中
所述距离图像边界估计单元基于所述距离图像将所述可移动区域和障碍物之间的边界存在的区域估计为所述距离图像边界。


7.根据权利要求6所述的信号处理设备，其中
所述距离图像边界估计单元基于所述距离图像中每个水平方向上以列为单位的每个像素的距离信息将所述可移动区域与所述障碍物之间的边界存在的区域估计为所述距离图像边界。


8.根据权利要求7所述的信号处理设备，其中
所述距离图像边界估计单元基于相对于距离方向的高度方向上的分布将所述可移动区域与所述障碍物之间的边界存在的区域估计为所述距离图像边界，其中所述分布是所述距离图像中每个水平方向上以列为单位的每个像素的距离信息。


9.根据权利要求8所述的信号处理设备，其中
通过将在相对于所述距离方向的所述高度方向上的分布中的高于与所述可移动区域对应的预定高度的分布存在的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域，所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息来估计所述距离图像边界。


10.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息基于相对于所述距离方向的所述高度方向上的分布通过平面拟合来识别所述可移动区域，并且通过将其中存在高于由所述平面拟合识别出的可移动区域的分布的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域来估计所述距离图像边界。


11.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息，关于相对于所述距离方向的所述高度方向上的分布设置所述可移动区域和所述障碍物之间的边界附近的L形函数，并且通过将根据距离的由于以L形函数拟合而引起的偏差最小的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域来估计所述距离图像边界。


12.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息，关于相对于所述距离方向的所述高度方向上的分布设置包括多个相邻分布的组，求出基于属于该组的距离信息的平面的法线，并且通过将根据法线...

【专利技术属性】
技术研发人员：元山琢人，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP