用于车辆中一般障碍检测的基于传感器融合的俯视三维纹理表示制造技术

一种车辆中的系统包括第一传感器，以从第一视场获得第一传感器数据并提供第一俯视特征表示。该系统还包括第二传感器，以从与第一视场重叠的第二视场获得第二传感器数据，并提供第二俯视特征表示。处理电路实现神经网络，并基于第一俯视特征表示和第二俯视特征表示提供俯视纹理表示。俯视三维纹理表示用于控制车辆的操作。车辆的操作。车辆的操作。

【技术实现步骤摘要】
用于车辆中一般障碍检测的基于传感器融合的俯视三维纹理表示


[0001]本公开内容涉及用于车辆中一般障碍检测的基于传感器融合的俯视三维(3D)纹理表示。

技术介绍

[0002]车辆(例如，汽车、卡车、建筑设备、农场设备、自动化工厂设备)越来越多地包括传感器来获取关于车辆及其环境的信息。关于车辆周围环境的信息有助于自主或半自主操作。示例性的半自主操作包括自动制动、自适应巡航控制和碰撞避免。提供关于车辆周围环境的信息的示例性传感器包括无线电探测和测距(雷达)系统、光探测和测距(激光雷达)系统和照相机。虽然使用一个或多个传感器的对象检测通常需要识别对象的类型(例如，汽车)，但是一般障碍检测指的是检测一般(未识别的)结构，换句话说，是识别没有任何对象的自由空间。自由空间的识别有助于确定车辆可以行驶的位置。因此，期望为车辆中的一般障碍检测提供基于传感器融合的俯视3D纹理表示。

技术实现思路

[0003]在一个示例性实施例中，车辆中的系统包括第一传感器，以从第一视场获得第一传感器数据并提供第一俯视特征表示。该系统还包括第二传感器，以从与第一视场重叠的第二视场获得第二传感器数据，并提供第二俯视特征表示。处理电路实现神经网络，并基于第一俯视特征表示和第二俯视特征表示提供俯视三维纹理表示。俯视三维纹理表示用于控制车辆的操作。
[0004]除了这里描述的一个或多个特征之外，第一传感器是照相机，第一传感器数据是二维图像。
[0005]除了这里描述的一个或多个特征之外，第二传感器是激光雷达系统，并且第二传感器数据是三维的。
[0006]除了这里描述的一个或多个特征之外，第二传感器是雷达系统，并且第二传感器数据是三维的。
[0007]除了本文描述的一个或多个特征之外，第一神经网络基于第一传感器数据提供第一俯视特征表示，第二神经网络基于第二传感器数据提供第二俯视特征表示。
[0008]除了这里描述的一个或多个特征之外，处理电路融合第一俯视特征表示和第二俯视特征表示，以使用第三神经网络获得融合的俯视特征表示。
[0009]除了这里描述的一个或多个特征之外，处理电路将融合的俯视特征表示转换到极坐标系统，以获得融合的俯视三维纹理表示。俯视三维纹理表示的每个纹理用两个或更多个属性的值编码。
[0010]除了本文描述的一个或多个特征之外，处理电路使用神经网络基于融合的俯视三维纹理表示来执行一般障碍检测。
[0011]除了本文描述的一个或多个特征之外，两个或多个属性包括基于一般障碍检测所检测到的对象的距离和对象的高度。
[0012]除了本文描述的一个或多个特征之外，两个或多个属性包括基于一般障碍检测而检测到的对象的类型、外观或颜色。
[0013]在另一示例性实施例中，一种方法包括基于来自车辆中第一传感器的第一视野的第一传感器数据获得第一俯视特征表示。该方法还包括基于来自车辆中第二传感器的第二传感器数据获得第二俯视特征表示，该第二传感器具有与第一视野重叠的第二视野。实施神经网络以基于第一俯视特征表示和第二俯视特征表示来提供俯视三维纹理表示。俯视三维纹理表示用于控制车辆的操作。
[0014]除了这里描述的一个或多个特征之外，第一传感器是照相机，第一传感器数据是二维图像。
[0015]除了这里描述的一个或多个特征之外，第二传感器是激光雷达系统，并且第二传感器数据是三维的。
[0016]除了这里描述的一个或多个特征之外，第二传感器是雷达系统，并且第二传感器数据是三维的。
[0017]除了本文描述的一个或多个特征之外，该方法还包括使用第一神经网络提供基于第一传感器数据的第一俯视特征表示，以及使用第二神经网络提供基于第二传感器数据的第二俯视特征表示。
[0018]除了本文描述的一个或多个特征之外，该方法还包括使用处理电路融合第一俯视特征表示和第二俯视特征表示，以使用第三神经网络获得融合的俯视特征表示。
[0019]除了这里描述的一个或多个特征之外，该方法还包括使用处理电路将融合的俯视特征表示转换到极坐标系统，以获得融合的俯视三维纹理表示，俯视三维纹理表示的每个纹理用两个或更多个属性的值编码。
[0020]除了本文描述的一个或多个特征之外，该方法还包括使用处理电路，基于使用神经网络的融合俯视三维纹理表示来执行一般障碍检测。
[0021]除了本文描述的一个或多个特征之外，两个或多个属性包括基于一般障碍检测的对象的距离和对象的高度。
[0022]除了本文描述的一个或多个特征之外，两个或多个属性包括基于一般障碍检测而检测到的对象的类型、外观或颜色。
[0023]当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
[0024]其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中:
[0025]图1是获得用于一般障碍检测的基于传感器融合的俯视三维纹理表示的车辆的框图；和
[0026]图2是根据一个或多个实施例的获得用于车辆中的一般障碍检测的基于传感器融合的俯视三维纹理表示的方法的流程图。
具体实施方式
[0027]以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
[0028]如前所述，传感器提供关于车辆周围环境的信息，并促进车辆的自主或半自主操作。该信息可替代地或附加地用于向驾驶员提供警告。还应注意的是，一般障碍检测是指出于识别车辆可能穿越的自由空间(即，没有任何对象的区域)的目的，检测被视为一般结构的任何结构和类别的道路障碍物。现有方法包括使用基于摄像机(照相机)图像的纹理表示来进行一般的障碍检测。根据该方法，每个像素表示图像(例如，红绿蓝(RGB)图像)中的一列，并且每个像素的长度与图像底部和图像中的障碍物之间或者没有任何障碍物的图像区域中的图像顶部之间的像素数成比例。因此，像素的长度表示二维(2D)图像平面上从相机位置到给定障碍物的自由空间。因为该表示不包括关于任何障碍物的结构和/或外观的任何在先假设，所以它非常适合于一般的障碍检测。然而，2D像素表示不传达任何3D或深度信息。此外，虽然相机图像提供了高的空间分辨率，但是其他传感器(例如，激光雷达系统)更精确，并且提供额外的3D信息。
[0029]本文详细描述的系统和方法的实施例涉及用于车辆中一般障碍检测的基于传感器融合的俯视3D纹理表示。从利用两个或更多个传感器(例如，照相机、雷达系统、激光雷达系统)获得的数据中提取特征，然后将其转换成俯视图表示(即，鸟瞰图)。然后将变换后的特征融合在一起，以俯视图的形式表示来自所有传感器的聚集特征。从每个传感器到俯视图的信息转换促进了传感器不可知的方法并且允许融合任意数量的传感器。融合特征的俯视图表示被转换为极坐标系统。这种转换产生了一种始于极坐标系统中心(例如，车辆上的某个点)的stixel表示。更具体地，基于提供三维信息的一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆中的系统，该系统包括:第一传感器，被配置为从第一视场获得第一传感器数据，并提供第一俯视特征表示；第二传感器，被配置为从与第一视场重叠的第二视场获得第二传感器数据，并提供第二俯视特征表示；和处理电路，被配置为实现神经网络并基于第一俯视特征表示和第二俯视特征表示提供俯视三维纹理表示，其中该俯视三维纹理表示用于控制车辆的操作。2.根据权利要求1所述的系统，其中所述第一传感器是照相机，并且所述第一传感器数据是二维图像，并且所述第二传感器是激光雷达系统，并且所述第二传感器数据是三维的，或者所述第二传感器是雷达系统，并且所述第二传感器数据是三维的。3.根据权利要求1所述的系统，其中第一神经网络基于第一传感器数据提供第一俯视特征表示，第二神经网络基于第二传感器数据提供第二俯视特征表示。4.根据权利要求1所述的系统，其中所述处理电路被配置为使用第三神经网络融合所述第一俯视特征表示和所述第二俯视特征表示以获得融合的俯视特征表示，所述处理电路被配置为将所述融合的俯视特征表示转换到极坐标系统以获得融合的俯视三维纹理表示，所述俯视三维纹理表示的每个纹理用两个或更多个属性值编码，并且所述处理电路被配置成使用神经网络基于融合的俯视三维纹理表示来执行一般障碍检测，并且所述两个或更多个属性包括基于一般障碍检测而检测到的对象的距离和对象的高度。5.根据权利要求4所述的系统，其中，所述两个或更多个属性包括基于一般障碍检测而检测到的对象的类型、外观或颜色。6.一种方法，该方法包括:使用处理电路，...

【专利技术属性】
技术研发人员：K罗特克，M布卢斯坦，BE施罗莫，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：