点云与图像相交以确定到车辆应用中彩色光源的范围制造技术

车辆和方法包括获取图像的第一传感器和获取点云的第二传感器。点云的每个点表示到反射器的范围。基于来自图像的数据和来自点云的数据的相交来确定从车辆到特定颜色的一个或多个光源的范围。

【技术实现步骤摘要】
点云与图像相交以确定到车辆应用中彩色光源的范围
本主题公开涉及点云和图像的相交，以确定到车辆应用中彩色光源的范围。
技术介绍
传感器(例如，照相机、无线电检测和测距(雷达)系统、光检测和测距(激光雷达)系统)越来越多地用于增强或自动化车辆(例如，汽车、卡车、建筑设备、农用设备、自动化因子设备)的操作。除了从传感器获取信息之外，车辆还可以通过车辆间(V2V)通信从其他车辆获取信息，或者通过车辆与万物(V2X)通信从基础设施或其他源获取信息。车辆也可以通过V2V或V2X通信提供信息。因此，期望提供点云和图像的相交以确定到车辆应用中彩色光源的范围。
技术实现思路
在一个示例性实施例中，一车辆包括第一传感器，用于获取图像；第二传感器，用于获取点云。点云的每个点表示到反射器的范围。控制器基于来自图像的数据和来自点云的数据的相交，确定从车辆到特定颜色的一个或多个光源的范围。除了本文描述的一个或多个特征之外，第二传感器是雷达系统。除了本文描述的一个或多个特征之外，第二传感器是激光雷达系统。除了本文所述的一个或多个特征之外，第一传感器是照相机，并且来自图像的数据是像素矩阵，其中每个像素指示红色、绿色和蓝色(RGB)水平的值。除了本文描述的一个或多个特征之外，控制器基于考虑每次迭代的像素矩阵的一个像素的迭代过程，确定到一个或多个光源中的每一个的范围。除了本文所述的一个或多个特征之外，控制器基于与和由一个像素限定的平面相交的反射器相对应的点云的点，将从车辆到一个或多个光源之一的范围确定为到与一个像素对应的反射器的范围。除了本文所述的一个或多个特征之外，控制器基于将一个像素的RBG水平转换为亮度值并比较该亮度值和阈值亮度值来确定一个像素与一个或多个光源之一相关联。除了本文所述的一个或多个特征之外，特定颜色是红色，并且控制器基于将红色值和红色、绿色和蓝色值之和的比率与阈值颜色值进行比较来确定一个像素与特定颜色的一个或多个光源之一相关联。除了本文所述的一个或多个特征之外，控制器还基于从车辆到一个或多个光源的范围来控制车辆的操作。除了本文所述的一个或多个特征之外，控制器还将到一个或多个光源的范围传送至另一车辆或基础设施。在另一示例性实施例中，一方法包括使用车辆的第一传感器获取图像；以及使用车辆的第二传感器获取点云。点云的每个点表示到反射器的范围。所述方法还包括基于来自图像的数据和来自点云的数据的相交，使用控制器确定从车辆到特定颜色的一个或多个光源的范围。除了本文描述的一个或多个特征之外，获取点云还包括使用雷达系统作为第二传感器或使用激光雷达系统作为第二传感器。除了本文描述的一个或多个特征之外，该方法还包括获取来自图像的数据，包括获取像素矩阵，其中每个像素指示红色、绿色和蓝色(RGB)水平的值，其中获取图像包括使用照相机作为第一传感器。除了本文所述的一个或多个特征之外，确定到一个或多个光源中的每个光源的范围包括执行迭代过程，该迭代过程每次迭代考虑像素矩阵的一个像素。除了本文所述的一个或多个特征之外，确定从车辆到一个或多个光源之一的范围是作为基于对应于与由一个像素相限定的平面相交的反射器的点云的点到对应于该一个像素的反射器的范围。除了本文描述的一个或多个特征之外，该方法还包括基于将一个像素的RBG水平转换为亮度值并比较该亮度值和阈值亮度值来确定一个像素与一个或多个光源之一相关联。除了本文描述的一个或多个特征之外，该方法还包括基于特定颜色为红色并将红色值和红色、绿色和蓝色值的总和的比率与阈值颜色值进行比较来确定一个像素与特定颜色的一个或多个光源之一相关联。除了本文描述的一个或多个特征之外，该方法还包括基于从车辆到一个或多个光源的范围来控制车辆的操作。除了本文描述的一个或多个特征之外，该方法还包括将到一个或多个光源的范围传送至另一车辆或基础设施，其中第一传感器、第二传感器和控制器位于车辆中。除了本文描述的一个或多个特征之外，该方法还包括另一车辆基于车辆的相对位置来确定从另一车辆到一个或多个光源的范围。当结合附图考虑时，从以下详细描述，本公开的上述特征和优点以及其他特征和优点将显而易见。附图说明在下面的详细描述中，仅以示例的方式出现其他特征、优点和细节，该详细描述参考附图，其中：图1是可以确定点云和图像的相交以确定到彩色光源的范围的车辆的框图；图2示出了根据一个或多个实施例的有助于基于点云和图像来确定到彩色光源的范围的投影算法；和图3是根据一个或多个实施例的基于确定点云和图像的相交来识别和定位车辆中的彩色光源的方法的过程流程。具体实施方式以下描述本质上仅是示例性的，并且不意图限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。如前所述，车辆可以使用诸如照相机、激光雷达系统或雷达系统之类的传感器来检测车辆视野内的物体。另外，车辆可以使用V2V或V2X通信来提供或获取有关交通状况和影响行驶的其他情况的信息。传感器融合是指合并来自两个或多个传感器的数据，通常涉及基于合并来增加数据总量。本文详细描述的系统和方法的实施例涉及点云与图像的相交以确定到车辆应用中的彩色光源的范围。具体而言，将使用激光雷达或雷达系统获取的点云与通过相机获取的图像相交，以识别到彩色光源(例如，作为红光源的尾灯)的范围。即，照相机图像有助于识别彩色光源，而由雷达或激光雷达系统获取的点云有助于确定到彩色光源的范围。与典型的传感器融合不同，相交本身导致的图像数据集比图像或点云稀疏。可以通过V2V或V2X通信以低延迟共享此稀疏信息。接收实体可以确定到彩色光源的位置或范围。另外，检测或接收车辆可以确定彩色灯的背景以增强或自动化车辆操作。该确定可以是另一车辆的状态(例如，红色尾灯指示制动)或另一车辆的类型(例如，尾灯的形状、大小、高度可以指示SUV、轿车、公共汽车)。该确定可以基于彩色灯的相对高度(例如，车顶上的灯指示警车或救护车)。该确定可以基于彩色灯的数量(例如，大量的红灯表示交通拥堵)。从另一车辆接收相交信息可以提供对接收车辆本身没有视线的场景的了解。当接收车辆相对于它正在从其接收信息的场景具有部分视线时，它可以从互感光源(即，对发送和接收车辆可见的光源)的感应几何形状中确定发送信息的车辆的相对位置。实时信息的交换可以促进动态实时映射，以例如识别交通拥堵或紧急车辆的位置。例如，该信息可以有助于重新规划路线或清理用于接近的紧急车辆的路径。根据示例性实施例，图1是可以确定点云和图像的相交以确定到彩色光源165的范围的车辆100的框图。图1所示的车辆100是汽车101。示例性车辆100包括以下传感器：雷达系统110、激光雷达系统120和照相机130。根据替代实施例，车辆100可以包括雷达系统110或激光雷达系统120，但不同时包括二者。雷达系统110或激光雷达系统120或两者都可以提供点云。点云是指一组三维点，这些本文档来自技高网...

【技术保护点】
1.一种车辆，包括：/n第一传感器，被配置为获取图像；/n第二传感器，被配置为获取点云，其中，点云中的每个点指示到反射器的范围；和/n控制器，被配置为基于来自图像的数据和来自点云的数据的相交，来确定从车辆到特定颜色的一个或多个光源的范围。/n

【技术特征摘要】
20190102 US 16/238,1061.一种车辆，包括：
第一传感器，被配置为获取图像；
第二传感器，被配置为获取点云，其中，点云中的每个点指示到反射器的范围；和
控制器，被配置为基于来自图像的数据和来自点云的数据的相交，来确定从车辆到特定颜色的一个或多个光源的范围。


2.根据权利要求1所述的车辆，其中，所述第二传感器是雷达系统或激光雷达系统。


3.根据权利要求1所述的车辆，其中，所述第一传感器是照相机，并且来自所述图像的数据是像素矩阵，其中每个像素指示红色、绿色和蓝色(RGB)水平的值，所述控制器被配置为基于每次迭代考虑像素矩阵的一个像素的迭代过程，确定到一个或多个光源中的每个的范围，控制器被配置为基于与和由一个像素限定的平面相交的反射器相对应的点云的点，将从车辆到一个或多个光源之一的范围确定为到与该一个像素对应的反射器的范围，控制器还被配置为基于将一个像素的RBG水平转换为亮度值并将该亮度值与阈值亮度值进行比较来确定该一个像素与一个或多个光源之一相关联，特定颜色为红色，并且控制器还被配置为基于将红色值和红色、绿色和蓝色值之和的比率与阈值颜色进行比较，来确定该一个像素与特定颜色的一个或多个光源之一相关联。


4.根据权利要求1所述的车辆，其中，所述控制器还被配置为基于从所述车辆到所述一个或多个光源的范围来控制所述车辆的操作。


5.根据权利要求1所述的车辆，其中，所述控制器还被配置为将到所述一个或多个光源的范围传送到另一车辆或基础设施。


6.一...

【专利技术属性】
技术研发人员：J坎皮斯，N拉维，N格拉杜斯，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US