用于检测车辆环境信息的方法和系统技术方案

一种用于检测周围对象的系统(100)，可以从相机(120)接收包括与一个或以上对象相关的多个像素的第一图像，并且从一个或以上激光雷达(112,114,116)接收包括与所述多个像素相对应的多个点的第一点集。所述系统(100)还可以基于所述第一点集确定多个点的三维坐标和反射强度。所述系统(100)可以基于所述三维坐标和所述反射强度通过对所述多个点进行分类来生成分割结果。所述系统(100)可以进一步将所述多个点的三维坐标转换为二维坐标，并基于所述二维坐标、所述三维坐标、所述分割结果和所述第一图像确定一个或以上对象的对象类型。

Method and System for Detecting Vehicle Environmental Information

A system (100) for detecting surrounding objects can receive a first image including multiple pixels related to one or more objects from a camera (120) and a first point set including multiple points corresponding to the multiple pixels from one or more lidars (112, 114, 116). The system (100) can also determine three-dimensional coordinates and reflective intensity of multiple points based on the first set of points. The system (100) can generate segmentation results by classifying the plurality of points based on the three-dimensional coordinates and the reflection intensity. The system (100) can further convert the three-dimensional coordinates of the plurality of points into two-dimensional coordinates, and determine one or more object types based on the two-dimensional coordinates, the three-dimensional coordinates, the segmentation results and the first image.

【技术实现步骤摘要】
【国外来华专利技术】用于检测车辆环境信息的方法和系统
本申请涉及车辆，更具体地涉及用于检测车辆的环境信息的方法和系统。
技术介绍
随着微电子技术和机器人技术的推进，无人驾驶技术如今迅速发展。检测车辆的环境信息是无人驾驶系统的重要技术。在用于检测环境信息的现有方法和系统中，难以准确和及时地确定环境信息，并且存在无人驾驶系统无法检测到的盲区。因此，期望提供用于准确并且及时地检测车辆的环境信息的方法和系统。
技术实现思路
其他特征将在接下来的描述中部分阐述。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过实践或使用下面讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得。根据本申请的一个方面，所述系统可以包括一个或以上处理器，以及被配置为与所述一个或以上处理器通信的存储设备。所述存储设备可以包括一组指令。当所述一个或以上处理器执行所述一组指令时，所述一个或以上处理器可被指示执行以下操作中的一个或以上操作。所述一个或以上处理器可以从相机处接收包括与一个或以上对象有关的至少两个像素的第一图像。所述一个或以上处理器可以从一个或以本文档来自技高网...

【技术保护点】
1.一种系统，包括：存储设备，存储一组指令；以及一个或以上处理器，被配置为与所述存储设备通信，当执行该组指令时，所述一个或以上处理器被配置为使所述系统：从相机处接收包括与一个或以上对象有关的至少两个像素的第一图像；从一个或以上激光雷达处接收包括与所述第一图像的所述至少两个像素对应的至少两个点的第一点集；基于所述第一点集确定所述至少两个点的第一三维坐标和所述至少两个点的反射强度；基于所述第一三维坐标和所述反射强度，通过对所述至少两个点进行分类生成分割结果；将所述第一三维坐标转换为所述至少两个点的第一二维坐标；以及基于所述第一二维坐标、所述第一三维坐标、所述分割结果和所述第一图像来确定所述一个或以...

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：存储设备，存储一组指令；以及一个或以上处理器，被配置为与所述存储设备通信，当执行该组指令时，所述一个或以上处理器被配置为使所述系统：从相机处接收包括与一个或以上对象有关的至少两个像素的第一图像；从一个或以上激光雷达处接收包括与所述第一图像的所述至少两个像素对应的至少两个点的第一点集；基于所述第一点集确定所述至少两个点的第一三维坐标和所述至少两个点的反射强度；基于所述第一三维坐标和所述反射强度，通过对所述至少两个点进行分类生成分割结果；将所述第一三维坐标转换为所述至少两个点的第一二维坐标；以及基于所述第一二维坐标、所述第一三维坐标、所述分割结果和所述第一图像来确定所述一个或以上对象的对象类型。2.根据权利要求1所述的系统，所述一个或以上处理器还被配置为使所述系统：基于所述对象类型确定与所述一个或以上对象相关的环境信息。3.根据权利要求2所述的系统，其特征在于，与所述一个或以上对象有关的环境信息包括以下中的至少一个：所述一个或以上对象的对象类型，所述一个或以上对象中的至少一个的运动状态，所述一个或以上对象中的至少一个对象相对于包括所述一个或以上激光雷达和所述相机的车辆的速度，所述一个或以上对象中的至少一个相对于所述车辆的加速度，所述一个或以上对象中的至少一个的移动方向，或所述一个或以上对象中的至少一个与所述车辆之间的距离。4.根据权利要求1所述的系统，其特征在于，所述第一点集包括由第一激光雷达获得的第一子点集和由第二激光雷达获得的第二子点集。5.根据权利要求4所述的系统，其特征在于，为了确定所述至少两个点的第一三维坐标，所述一个或以上处理器被配置为使所述系统：确定对应于与所述第一激光雷达相关的所述第一三维坐标系的所述第一子点集的第二三维坐标；确定对应于与所述第二激光雷达相关的所述第二三维坐标系的所述第二子点集的第三三维坐标；将所述第三三维坐标转换为与所述第一三维坐标系对应的所述第二子点集的第四三维坐标；以及基于所述第一子点集的所述第二三维坐标和所述第二子点集的所述第四三维坐标确定所述第一三维坐标。6.根据权利要求1所述的系统，其特征在于，为了将所述第一三维坐标转换为所述至少两个点的所述第一二维坐标，所述一个或以上处理器被配置为使所述系统：获取转换矩阵；以及基于所述转换矩阵将所述第一三维坐标转换为所述第一二维坐标。7.根据权利要求6所述的系统，为了获取所述转换矩阵，所述一个或以上处理器被配置为使所述系统：从所述一个或以上激光雷达中的一个接收包括与目标有关的至少两个点的第二点集；从所述相机接收包括与所述目标相关的至少两个像素的第二图像；确定与所述目标相关的所述至少两个点的所述第二三维坐标；确定与所述目标有关的所述至少两个像素的所述第二二维坐标；以及基于所述第二三维坐标和所述第二二维坐标确定所述转换矩阵。8.根据权利要求7所述的系统，为了基于所述第二三维坐标和所述第二二维坐标确定所述转换矩阵，所述一个或以上处理器被配置为使所述系统：根据最小二乘法确定所述转换矩阵。9.根据权利要求7所述的系统，所述目标包括具有一个或以上点的二维图案，每个点是一个圆的中心。10.根据权利要求1所述的系统，为了确定所述一个或以上对象的对象类型，所述一个或以上处理器被配置为使所述系统：根据Faster-RCNN模型确定所述一个或以上对象的对象类型。11.一种在具有一个或以上处理器和存储设备的计算设备上实现的方法，所述方法包括：从相机处接收包括与一个或以上对象有关的至少两个像素的第一图像；从一个或以上激光雷达处接收包括与所述第一图像的至少两个像素对应的至少两个点的第一点集；基于所述第一点集确定至少两个点的第一三维坐标和至少两个点的反射强度；基于所述至少两个点的所述第一三维坐标和所述至少两个点的所述反射强度，通过对所述进行分类生成分割结果；将所述第一三维坐标转换为所述至少两个点的...

【专利技术属性】
技术研发人员：姚为龙，孟泽楠，刘健，张浩，谭深，蔡叶荷，杨政，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京,11