信号处理设备和信号处理方法、程序及移动体技术

本公开涉及使得能够以高精度检测移动体的可移动区域的信号处理设备和信号处理方法、程序以及移动体。根据本发明专利技术，基于由相机捕获的图像中的语义分割单元信息，图像中移动体的可移动区域的边界存在的区域被估计为图像可移动区域边界。基于由深度传感器检测到的距离图像，距离图像中移动体的可移动区域的边界存在的区域被估计为距离图像可移动区域边界。基于图像可移动区域边界和距离图像可移动区域边界来确定可移动区域的边界。基于所确定的可移动区域的边界来生成环境地图。本公开可以应用于车内系统。

【技术实现步骤摘要】
【国外来华专利技术】信号处理设备和信号处理方法、程序及移动体
本公开涉及信号处理设备和信号处理方法、程序以及移动体，尤其涉及能够以高精度检测移动体的可移动区域的信号处理设备和信号处理方法、程序以及移动体。
技术介绍
已经提出了用于使诸如车辆或机器人之类的移动体自主移动的各种技术。当使移动体自主移动时，从由相机等捕获的移动体的移动方向的图像中检测可移动区域，基于检测到的可移动区域的信息来生成诸如占用栅格图(occupancygridmap)之类的局部地图，并计划移动。作为检测可移动区域的技术，已经提出了这样的技术：该技术使用由激光雷达(包括LiDAR)得到的点云信息(3D点云信息)和由相机捕获的图像来估计道路表面边界(可行驶区域)(参见专利文献1)。更具体而言，基于激光雷达的点云信息中的高度信息来确定三维结构，以生成占用栅格图。此外，基于由相机捕获的图像，提取在消失点方向上延伸的边缘。然后，将占用栅格图的可行驶区域的边界与图像边缘进行比较，并且在三维对象的脚处提取要成为道路表面边界的边缘。基于包括由此获得的边缘的道路表面边界来检测可移动区域。本文档来自技高网...

【技术保护点】
1.一种信号处理设备，包括：/n加标签边界估计单元，所述加标签边界估计单元基于根据所捕获的图像中被摄体的类型的加标签信息将所述图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；/n距离图像边界估计单元，所述距离图像边界估计单元基于距离图像将所述距离图像中所述可移动区域的边界存在的区域估计为距离图像边界；以及/n可移动区域边界确定单元，所述可移动区域边界确定单元基于所述加标签信息边界和所述距离图像边界来确定所述可移动区域的边界。/n

【技术特征摘要】
【国外来华专利技术】20180329 JP 2018-0635301.一种信号处理设备，包括：
加标签边界估计单元，所述加标签边界估计单元基于根据所捕获的图像中被摄体的类型的加标签信息将所述图像中移动体的可移动区域的边界存在的区域估计为加标签信息边界；
距离图像边界估计单元，所述距离图像边界估计单元基于距离图像将所述距离图像中所述可移动区域的边界存在的区域估计为距离图像边界；以及
可移动区域边界确定单元，所述可移动区域边界确定单元基于所述加标签信息边界和所述距离图像边界来确定所述可移动区域的边界。


2.根据权利要求1所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界存在的区域估计为所述加标签信息边界。


3.根据权利要求1所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息和所述距离图像来估计所述加标签信息边界。


4.根据权利要求3所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界设置为所述可移动区域的边界，并且还通过根据基于所述距离图像的距离设置基于所述加标签信息设置的所述可移动区域的边界的垂直方向的宽度来将所述可移动区域的边界估计为加标签信息边界。


5.根据权利要求3所述的信号处理设备，其中
所述加标签边界估计单元基于所述加标签信息将被加标签为与所述可移动区域对应的类型的被摄体的区域的边界设置为所述可移动区域的边界，并且还通过根据基于所述距离图像的距离设置基于所述加标签信息设置的所述可移动区域的边界的垂直方向的宽度来将所述可移动区域的边界估计为加标签信息边界。


6.根据权利要求1所述的信号处理设备，其中
所述距离图像边界估计单元基于所述距离图像将所述可移动区域和障碍物之间的边界存在的区域估计为所述距离图像边界。


7.根据权利要求6所述的信号处理设备，其中
所述距离图像边界估计单元基于所述距离图像中每个水平方向上以列为单位的每个像素的距离信息将所述可移动区域与所述障碍物之间的边界存在的区域估计为所述距离图像边界。


8.根据权利要求7所述的信号处理设备，其中
所述距离图像边界估计单元基于相对于距离方向的高度方向上的分布将所述可移动区域与所述障碍物之间的边界存在的区域估计为所述距离图像边界，其中所述分布是所述距离图像中每个水平方向上以列为单位的每个像素的距离信息。


9.根据权利要求8所述的信号处理设备，其中
通过将在相对于所述距离方向的所述高度方向上的分布中的高于与所述可移动区域对应的预定高度的分布存在的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域，所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息来估计所述距离图像边界。


10.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息基于相对于所述距离方向的所述高度方向上的分布通过平面拟合来识别所述可移动区域，并且通过将其中存在高于由所述平面拟合识别出的可移动区域的分布的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域来估计所述距离图像边界。


11.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息，关于相对于所述距离方向的所述高度方向上的分布设置所述可移动区域和所述障碍物之间的边界附近的L形函数，并且通过将根据距离的由于以L形函数拟合而引起的偏差最小的距离设置为所述可移动区域与所述障碍物之间的边界存在的区域来估计所述距离图像边界。


12.根据权利要求8所述的信号处理设备，其中
所述距离图像边界估计单元针对所述距离图像中每个水平方向上以列为单位的每个像素的距离信息，关于相对于所述距离方向的所述高度方向上的分布设置包括多个相邻分布的组，求出基于属于该组的距离信息的平面的法线，并且通过将根据法线...

【专利技术属性】
技术研发人员：元山琢人，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP